2019 到目前为止的深度学习研究进展汇总

本文为 AI 研习社编译的技术博客，原标题：
Best Deep Learning Research of 2019 So Far
作者 | ODSC - Open Data Science
翻译 | 敬爱的勇哥编辑 | 酱番梨、邓普斯•杰弗
原文链接：
https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38
注：本文的相关链接请访问文末【阅读原文】

在刚刚结束的2019年的第一季度里，深度学习技术在快速的向前发展。我经常会去查看相关研究人员的工作，以便了解这项技术的进展。这项工作让我能够了解到很多我不知道的事情，然后以此优化自己的工作时间安排。因此，尽管该领域每周会有成百上千篇论文，我也会要求自己每周至少阅读一篇研究论文。

在本文中，将2019年以来已经发表的论文整理出来列在下面，这将帮你节省很大一部分时间。下文中的所有文章，在Github中都有相应的代码。让我们开始奇妙之旅！

1.使用PyTorch Geometric快速开始图形表征学习

本研究介绍了一个名为PyTorch Geometric的学习库，它基于PyTorch构建，可以帮助我们直接使用图形，点云以及流形数据等不规则的数据结构。除了一般的图形数据结构和处理方法外，它还包含了许多最近发表的关系学习和三维数据处理的方法。PyTorch Geometric通过使用稀疏GPU加速、提供专用的CUDA内核以及为不同大小的输入样本提供高效的小型批处理来实现高数据吞吐量。该文的代码可以在GitHub找到。

https://arxiv.org/abs/1903.02428v2

相关文章：Most Influential Data Science Research Papers for 2018

2.Mask Scoring R-CNN

在实例分割任务中，大多数实例分割框架都使用实例分类置信度作为掩码的质量分数。本文研究的这个问题，提出了一种包含网络块的R-CNN掩码评分方法来学习和预测实例掩码的质量。掩码评分策略对比掩码质量和掩码得分之间的不一致，在COCO AP评测指标上，优先考虑更准确的掩码预测来改进实例分割的性能。代码可以在GitHub上找到。

https://arxiv.org/abs/1903.00241v1

3.用更少的标注生成高保真图像（High-Fidelity Image Generation with Fewer Labels)

深度生成模型正在成为现代机器学习的基础。最近关于条件生成对抗网络(conditional generative adversarial networks，GANs)的研究表明，在自然图像上学习复杂的高维分布是可行的。虽然最新的模型能够在高分辨率下生成高保真度、多样化的自然图像，但它们依赖于大量的标注数据。这篇论文展示了如何从最新的自我和半监督学习研究中获得启发，从而在无监督的图像合成和条件设置方面都优于当前的最好效果(SOTA)。代码可以在GitHub上找到。

https://arxiv.org/abs/1903.02271v1

4.GCNv2:实时SLAM的高效匹配预测（GCNv2: Efficient Correspondence Prediction for Real-Time SLAM）

这篇文章提出了一种基于深度学习的关键字和描述符生成网络GCNv2，它基于为三维投影几何而训练的GCN而来。GCNv2设计了一个二进制描述符向量作为ORB特征，以便在诸如ORB-slam等系统中方便的替换ORB。代码可以在GitHub上找到。

https://arxiv.org/abs/1902.11046v1

相关文献：Deep Learning for Text Classification

5.ALiPy:使用Python进行主动学习（ALiPy: Active Learning in Python）

有监督的机器学习方法通常需要大量带标签的数据来进行模型训练。然而，在许多实际应用中，有大量的未标记数据，但标记数据却有限，而且对它们进行标注的成本很高。主动学习(Active learning，AL)通过迭代地在标注器中通过查询的方式选择最合适的标签，从而降低了标注成本。本文介绍了一个用于主动学习的Python库ALiPy。代码可以在GitHub上找到。

https://arxiv.org/abs/1901.03802v1

6.DeepFashion2:一个用于服装图像检测、姿态估计、分割和重新识别的多用途标注（DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images）

通过带有丰富标签的数据集(如DeepFashion，其标签包括服装类别、标注点和消费者信息图像对)，可以加强对时装图像的理解。然而，DeepFashion存在一些不可忽视的问题，比如每张图片只有一件衣服，稀疏的标注点(只有4~8个)以及没有每个像素的掩码，这与现实场景有很大的差距。本文通过DeepFashion2来解决这些问题，填补了这一空白。DeepFashion2是一个通用的标签库，包括四个任务，包括服装检测，姿态估计，分割和检索。代码可以在GitHub上找到。

https://arxiv.org/abs/1901.07973v1

7.星际争霸多端挑战（The StarCraft Multi-Agent Challenge）

近年来，深度多端强化学习(RL)已经成为一个非常活跃的研究领域。在这一领域，有一类特别的问题很有挑战，就是部分可观察的、可以合作的、多智能体的学习，在这种学习中，团队必须学会只以他们各自的观察为条件进而协调整体的行为。这是一个很有吸引力的研究方向，因为这类问题涉及大量的真实系统，而且比一般总和博奕问题更易于评估。然而，对于可协作的多端RL，目前还没有可对比的基准。因此，这一领域的大多数论文都使用一次性的游戏，很难衡量真正的进展。本文将星际争霸多智能挑战(SMAC)作为一个基准问题来填补这一空白。代码可以在GitHub上找到。

https://arxiv.org/abs/1902.04043v2

8.Dropout是随机增量规则(SDR)的一个特例:更快、更准确的深度学习(Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning)

多层神经网络在文本、语音和图像处理等多种任务中取得了很好的效果。在分层模型中，非线性参数估计容易出现过拟合和错误设置的问题。对这些参数估计错误以及其他相关问题(局部极小值、共线性、特征提取等)的一种解决方法称为Dropout。Dropout会根据概率为p的伯努利随机分布，在每次更新前随机删除部分隐藏层的单元，从而对网络产生随机的“扰动”，并在每次更新时对其进行平均。本文指出，Dropout是发表于1990年的通用模型随机增量规则(Stochastic Delta Rule，SDR)的一种特例。代码可以在GitHub上找到。

https://arxiv.org/abs/1808.03578v2

9.Lingvo:一种用于序列模型的模块化和可伸缩框架( Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling)

Lingvo是一个Tensorflow框架，为深度学习研究尤其是序列化模型提供了一个完整的解决方案，它由灵活且易于扩展的模块化构建块组成，实验时可以集中配置且可高度定制。该框架支持分布式训练和量化推理，包含大量实用组件、辅助函数和最新研究论文的实现。在过去的两年里，Lingvo已经被数十名研究人员用在了20多篇论文里。本文概述了Lingvo的底层设计，并对框架各个部分进行了介绍，同时还对框架的高级特性提供了示例。代码可以在GitHub上找到。

https://arxiv.org/abs/1902.08295v1

10.具有动态学习率边界的自适应梯度方法(Adaptive Gradient Methods with Dynamic Bound of Learning Rate)

为了加快深度学习的训练速度，人们提出了如AdaGrad, RMSProp和Adam等学习率自适应优化方法。虽然方法众多，但与SGD相比，它们的泛化能力较差，甚至由于不稳定和极端的学习率而无法收敛。本文论证了极端的学习率会导致模型性能变差。基于Adam和AMSGrad分别提出了名为AdaBound和AMSBound的变种，它们利用学习率的动态边界实现了从自适应方法到SGD的渐进平稳过渡，并给出了收敛性的理论证明。对各种常见的任务和模型进行了进一步的实验，实验结果表明，新的方法能够消除自适应方法与SGD之间的泛化差距，同时在训练初期保持较高的学习速度。代码可以在GitHub上找到。

https://openreview.net/forum?id=Bkg3g2R9FX

想要继续查看该篇文章相关链接和参考文献？

点击底部【阅读原文】即可访问：

https://ai.yanxishe.com/page/TextTranslation/1695