深度学习应遵循怎样的论文研读路线

点击上方“蓝字”带你去看小星星

深度学习100问

Author：louwill

Machine Learning Lab

深度学习各个方向发展日新月异，arxiv上几乎每天都有新的研究论文更新，而每年AI相关的会议和期刊都有大量的研究公布。作为一名算法工程师，除了提高自身的工程能力之外，时常阅读领域内最新的研究论文也是必要的工作。

那么，深度学习应遵循怎样的论文研读路线和方法呢？笔者作为一名普通的工程师，并非科研人员，关于如何读论文，想必那些有着各种顶会和期刊加持的科研大佬们比我更有发言权。但同时作为一名深度学习科研爱好者，这并不妨碍笔者谈一谈自己在文献阅读方面的一些见解。也欢迎各位paper大神们不吝赐教。

深度学习领域相关顶会与期刊

先来梳理一下深度学习各相关方向上都有哪些顶级会议和期刊。毕竟每年这个领域内文献浩如烟海，质量大多参差不齐，在有限的时间内选择最好的论文进行研读是十分有必要的。

先看深度学习应用最热门的CV领域。顶会方面大家都知道CV三大顶会的ICCV、CVPR和ECCV。这也是咱们国内搞CV的学者们竞相追逐的阵地。若是名校出身，又有三大顶会加持，毕业后找工作自然不在话下。随着近两年国内CV领域内就业竞争加剧，硕士生就有几篇顶会傍身的情况并不罕见。

ICCV的全称叫International Comference>以上三个会议是每个做CV方向的同学都应该重点关注的，每一期的oral也都建议认真研读。三大顶会历年的文章合辑：

地址： http://www.cvpapers.com/index.html

CV方向上除了三大顶会以外，还有一些像ICIP、ICPR和ACCV等会议也值得关注。除了顶会之外，CV方向的一些顶级期刊也值得关注：PAMI、IJCV、CVIU、PR等等。

深度学习另一个重要研究方向NLP也有着领域内的顶会和期刊。NLP方向内也有四大顶会之称，包括ACL、EMNLP、NAACL和COLING。ACL全称为The Association for Computational Linguistics，是NLP和计算语言学领域最权威的国际会议。EMNLP的全称为Conference>Computational Linguistics 和 Transactions of ACL（TACL），当然还有很一部分融合在了许多AI相关的期刊中去了，比如说AI（Artificial Intelligence）、JAIR（Journal of AI Research）、JMLR（Journal of Machine Learning Research）等。

ACL地址：https://www.aclweb.org/portal/

除了CV和NLP这两大方向之外，很多研究也包含在机器学习和人工智能的大领域下发表的。比如说机器学习的顶级会议：NIPS, ICML和UAI等，顶级期刊JMLR, ML, Trends in ML, IEEET-NN等，大AI下的IJCAI和AAAI等等。这些都是需要大家保持关注的。

JMLR地址：http://jmlr.csail.mit.edu/papers/

深度学习论文研读路线

梳理了这么多顶会和期刊，那么深度学习论文研读应该按照什么路线来开启呢？总体而言，深度学习论文研读应该遵循以下几个准则：

整体把握各个方向
聚焦到具体方向
快速研读经典
聚焦于state-of-the-art

这个准则很好理解：首先就是对深度学习各个方向的基本面有个基本的了解，知道各个方向当前都有哪些突破性的技术和理论。找一些文章来进行初步的阅读即可。然后是聚焦到具体的研究方向，把支撑这个方向的所有经典论文找出来仔细研读，这个过程需要快速且仔细。比如说笔者是做视觉方向的，那首先甭管笔者是做检测还是分割啥方向的，CNN的经典论文我得都读吧？从LeNet5、AlexNet、VGG、Inceptionv1-v4、ResNet到最近的EfficientNet这些，都得一一研读。当经典读的差不多的时候，我们需要聚焦于最新和最好的论文，也就是读state-of-the-art，需要时刻紧跟最新成果，站在最前沿。

新人入门最好的一篇综述性文章是深度学习三巨头发表在Nature上的综述文章deep learning。