ICLR2018 | 深度学习顶会见闻，干货资源都在这里（附源码、论文链接）

虽然仅仅举办过六届，ICLR已经是深度学习领域的顶级会议，得到了业界的广泛认可。第六届ICLR于2018.4.30~2018.5.03在温哥华会展中心召开，笔者署名的一篇文章有幸被workshop接收且受邀参会，下面聊一聊个人在ICLR2018上的见闻。

ICLR2018会议大观

ICLR 2018共计收到1003篇论文投稿，最终2.3%的Oral论文、31.4%的Poster论文、9%被接收为Workshop track，51%的论文被拒收、6.2%的撤回率。在论文提交时间上，有一个有趣的现象，1003篇论文中，有近800篇论文是截止时间前24小时提交的，其中最后半小时提交了200多篇，验证了DDL是第一生产力是全球通行的，哈哈哈，不过也说明大家精益求精吧。

来源：DeepMind的Oriol Vinyals的推特

在各单位论文接收数量上（等效数量，例如一篇文章3位作者，3人属于单位A则算A一篇，若是只有1人属于单位A则算1/3篇），谷歌独占鳌头，随后是CMU，斯坦福，伯克利等北美名校。

来源：http://webia.lip6.fr/~pajot/dataviz.html

关于会议的一些基本的数据统计分析情况，已经有人做出了非常漂亮且详细的图表，在此不赘述，感兴趣的可查看上网站，有python源码：

http://webia.lip6.fr/~pajot/dataviz.html

会议共四天，每天都分为上下午两场，上下午形式一致，首先是一篇邀请报告，再次是三篇oral论文的汇报，最后是Poster环节。笔者走马观花的听了一下汇报、扫了一下海报，直观感受（主观感受）有：

• 涉及的主题关乎深度学习方方面面

• 刷指标的很少，关注深度学习理论方面的很多

• 生成式对抗网络相关研究热度不减

• Google发文真多外，大家也都喜欢围观Google的论文

文章以及涉及的方向实在太多，只能走马观花的扫一下，有根据论文评审得分，给论文排了序，大家可根据自己感兴趣的挑选和阅读：

https://chillee.github.io/OpenReviewExplorer/

参会感悟

会议的报告以及海报涉及到深度学习的方方面面，口头报告也只留有一个大概的印象，数量众多的海报更只是走马观花的扫了一遍，对当前的研究方向热点有个整体的感受了。此次参会有两点感受颇深：

1. 好好做事，做好事。做一件事情，觉得真的有用，能解决一些实际问题的时候，好好做下去，结果总不会太差；对于做研究来说，做成了，顶会/刊文章也就来了。

2. 出去走走看看，有很多同龄人在踏踏实实的把一件事情做好。

后记

笔者由清华大学研究生院与数据科学研究院共同开设的大数据能力提升项目与大数据、机器学习结缘，在项目中所学与自身专业（电子）结合，也在此次会议的workshop中发文。此文的内容，属于神经网络的硬件加速方向，通过设计一种新的数据压缩格式和数据计算流程，在据此设计的计算架构上计算效率有较为显著的提升。相关研究得到了数据科学研究院的大力支持。

关于数据科学研究院、清华大学大数据能力提升项目：

http://www.ids.tsinghua.edu.cn/

对笔者的工作感兴趣的可以查看以下论文（笔者近期也会在数据派分享详细的论文思路和内容）：

https://arxiv.org/abs/1803.10548

https://arxiv.org/abs/1801.07459

会议干货资源

ICLR2018论文统计：

http://webia.lip6.fr/~pajot/dataviz.html

ICLR2018论文评分排序：

https://chillee.github.io/OpenReviewExplorer/

ICLR2018邀请汇报和口头汇报（oral论文）的视频（需科学上网）：

https://www.facebook.com/pg/iclr.cc/videos/

三篇Best Paper:

• On the convergence of Adam and Beyond

• Spherical CNNs

• Continuous adaptation via meta-learning in nonstationary and