干货合集 | 带你深入浅出理解深度学习（附资源打包下载）

网络中有着丰富的教程，供我们开始接触深度学习。你可以选择从著名的斯坦福CS221或者CS224课程开始：

• CS221：

  http://cs231n.stanford.edu/

• CS224：

  http://cs224d.stanford.edu/

如果你从未接触过这方面的内容，你可以选择快速AI课程或者深度学习AI课程:

• 快速AI课程：

  http://www.fast.ai/

• 深度学习AI课程：

  https://www.deeplearning.ai/

除了深度学习AI课程，其它所有课程都是免费的，你可以在家中舒适地学习。你需要的仅仅是一台好的电脑（最好带有一块Nividia的GPU）, 以及你已经准备好向深度学习迈出你的第一步。

然而，本文不是为一个纯新手准备的。当你了解了一些深度学习算法的原理，你可能想要知道这些算法是怎么运作的。尽管深度学习的绝大部分工作（大概是90%的工作，除去10%的的数据）是添加像Conv2d这样的层，调节不同优化策略（如ADAM）的超参数，或者通过在Python中添加一行代码（得益于可用的优秀框架）使用batch norm以及其它一些技巧，很多人可能都很想知道在这之后到底发生了什么。

本文资源已整理打包

公众号后台回复“180801”即可获取资源

本文列举的这些资源，在你放置一个conv2d层或者在Theano里调用T.grad的时候，可以帮助你了解到在代码背后发生了什么。

总论

毋庸置疑，《深度学习》（Deep Learning Book）这本书是最著名、最为人知的资源：

• Deearning Book：

  http://www.deeplearningbook.org/

其它比较好的资源还有Charniak教授的课程和论文，可以作为深度学习的技术介绍：

• Charniak教授课程：

  https://cs.brown.edu/courses/csci1460/assets/files/deep-learning.pdf

• 论文：

  https://arxiv.org/abs/1709.01412

当你想要从一个具体的角度理解深度学习的话可以参考其它一些资源比较好的资源。比如，下面这个教程是从应用数学的角度来攥写的，或者如果你仅仅是想要开始写代码而不是深入研究理论的话，可以阅读下面的文章：

• 应用数学角度的教程：

  https://arxiv.org/abs/1801.05894

• 文章链接：

  https://arxiv.org/abs/1703.05298

还有一个比较推荐的是这个基于PyTorch的深度学习课程。这个课程讲解很全面，可以帮助你从一个更加宏观的角度理解：

• 基于PyTorch的深度学习课程：

  https://documents.epfl.ch/users/f/fl/fleuret/www/dlc/

反向传播的问题

很多时候，人们不确定“为什么梯度下降和反向传播是同一件事情？”，或者，“到底什么是链式法则以及反向传播？”要了解这些基本问题，我们可以选择阅读Rumelhart,Hinton和Williams之前写的关于反向传播的论文。这篇论文简单易懂：

• Rumelhart,Hinton,Williams关于反向传播的论文：

  https://web.stanford.edu/class/psych209a/ReadingsByDate/02_06/PDPVolIChapter8.pdf

除此之外，其它一些非常有用的资源包括Karpathy的关于反向传播导数的博客，以及这段解释导数反向传播的视频:

• 博客地址：

  https://medium.com/@karpathy/yes-you-should-understand-backprop-e2f06eab496b

• 视频地址：

  https://www.youtube.com/watch?v=gl3lfL-g5mA

线性代数和其它数学内容

大家都会给某位立志于学习线性代数的人推荐Strang教授的课程，这大概是关于线性代数最好的资源了：

• 线性代数课程：

  https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/

类似的还有Boyd教授的运筹学课程：

• 运筹学课程：

  http://web.stanford.edu/~boyd/cvxbook

Calculus on Manifolds的《Calculus on Manifolds》这本书是关于向量积分的微积分内容（你可以通过Google搜索“Calculus on Manifolds”找到一份pdf）。但是，一开始学习深度学习的时候，我们不需要深入学习这些内容。另一种方法是快速复习《深度学习微积分》（Calculus for DeepLearning）这本书：

• Calculus for DeepLearning：

  https://arxiv.org/abs/1802.01528

这里还有一些关于深度学习的凸优化内容的讲座笔记：

• 凸优化讲座笔记：

  http://people.eecs.berkeley.edu/~elghaoui/Teaching/EE227BT/lectures.html

此外，Sebastian Reuder的论文也是比较好的资源，同时我也喜欢用下面的笔记来理解tensors的导数：

• Sebastian Reuder论文：

  https://arxiv.org/abs/1609.04747

• tensors导数笔记：

  https://github.com/mtomassoli/tensor-differential-calculus/blob/master/tensor_diff_calc.pdf

自动求导和深度学习库

在你做深度学习项目的时候，不必非要了解自动计算导数。大多数框架，像Torch，Theano或者Tensorflow会帮你自动运算好。通常来说，你甚至不需要知道怎样进行导数运算。也就是说，如果你一定要弄清楚深度学习框架是怎样工作的，你可能想在下面这篇文章中理解自动求导是如何实现的：

• 文章链接：

  https://arxiv.org/abs/1502.05767

其它比较好的用来理解深度学习库功能实现的资源可以在下面的博客和视频中找到：

• 博客链接：

  http://blog.christianperone.com/2018/03/pytorch-internal-architecture-tour

• 视频链接：

  https://www.youtube.com/watch?v=Lo1rXJdAJ7w

卷积神经网络

在你学习了一些如何使用基本convents的课程后，你可能需要去理解卷积是如何在图像上工作的。“输入应用某种类型的卷积后，输出的维度是多少？”“stride是如何影响卷积的？”“Batch正则化是什么？”“对于这类应用问题，我看到过的最好的资源是下面的教程和Ian Goodfellow的演讲：

• 教程链接：

  https://arxiv.org/abs/1603.07285

• Ian Goodfellow演讲视频：

  https://www.youtube.com/watch?v=Xogn6veSyxA

如果你想得到一个好点子的话，下面链接中关于Convenets的评论更加全面，另外这篇关于物体检测的总结也是比较好的资源：

• 关于Convenets的评论：

  https://arxiv.org/abs/1803.08834

• 关于物体检测的总结：

  https://arxiv.org/abs/1803.08834

自然语言处理中的深度学习

我在前文中提出的Stanford 224课程是一个非常好的起点，可以基本让你了解关于自然语言处理中深度学习的方方面面。这里还有一个Graham Neubig（他使用dynet）发布在YouTube上的课程：

• Graham Neubig发布的课程：

  https://www.youtube.com/watch?v=Sss2EA4hhBQ

还有一本你可能喜欢的Yoav Goldberg编写的NLPbook以及这本书编写之后的NLP上新的研究进展的回顾：

• NLPbook：

  https://u.cs.biu.ac.il/~yogo/nnlp.pdf

• NLP上新进展回顾：

  https://arxiv.org/abs/1708.02709

关于是否在文字上使用ConvNets或者RNNs（LSTM/GRUs），也是一个非常普遍的问题，这里有一个不错的概述：

• 概述：

  https://arxiv.org/pdf/1803.01271.pdf

强化学习

Sutton和Barto所写的《强化学习》（Reinforcement Learning）这本书是开始学习这些方法的不错途径。这本书是免费的，可以在下面链接中获取：

• Reinforcement Learning：

  http://incompleteideas.net/book/the-book-2nd.html

这里还有一篇关于最新的深度强化学习方法的综述以及一个关于强化学习的非常有趣的教程：

• 深度强化学习方法综述：

  https://arxiv.org/abs/1708.05866

• 强化学习教程：

  https://hackernoon.com/intuitive-rl-intro-to-advantage-actor-critic-a2c-4ff545978752

这里有一篇关于MCTS (Monte CarloTree Search)的综述（除了深度强化学习技巧外，Deepmind使用其作为AlphaGo算法的一部分），但是我喜欢用这个快速教程来学习它们：

• MCTS综述：

  http://mcts.ai/pubs/mcts-survey-master.pdf

• 快速教程：

  http://jeffbradberry.com/posts/2015/09/intro-to-monte-carlo-tree-search/?utm_source=top.caibaojian.com/19271

其它一些好的综述/教程

在ICLR 2016上，Goodfellow给出过一篇关于GANs（生成对抗网络）和广义上生成模型的教程，可以在下面链接中找到：

• 教程链接：

  https://www.youtube.com/watch?v=HGYYEUSm-0Q

神经网络可以用来做艺术迁移（例如Prisma app），可以在这里找到一篇关于如何做这个任务的详细的调查：

• 神经网络应用于艺术迁移：

  https://arxiv.org/abs/1705.04058

另一篇关于Reuder写的关于多任务学习的研究（用同一个神经网络结合多个任务）在这里：

• 关于多任务学习的研究：

  https://arxiv.org/abs/1706.05098

评论

尽管深度学习在许多问题上效果很好，我们知道永远有它还无法解决的问题。一些值得阅读的好评论有Shalev-Shwartz等人写的Failures of Gradient-Based Deep Learning：

• Failures of Gradient-Based Deep Learning：

  https://arxiv.org/abs/1703.07950

这个Hinton的讲座列举了ConvNets的难点和为什么ConvNets不能解释训练集图片的负面影响：

• ConvNets的难点：

  https://www.youtube.com/watch?v=rTawFwUvnLE

• ConvNets不能解释训练集图片的原因：

  https://arxiv.org/pdf/1703.06857.pdf

下面是前段时间的另一个评论以及一篇关于滥用深度学习的全面报告：

• 评论链接：

  https://arxiv.org/abs/1801.00631

• 关于滥用深度学习的全面报告：

  https://arxiv.org/abs/1802.07228

对抗样本

这是一个巨大领域，可以制造欺骗卷积神经网络的人造或真实的数据。我本可将这一节放在评论里，但我没有这样做，原因是：

1. 它们并不是所有应用的都需要面对的技术挑战。

2. 我在这方面不是非常精通。能够使人接触这个话题并引起兴趣的例子在下面这篇文章里，他们生成“对抗物体”来欺骗神经网络：

• 文章链接：

  https://arxiv.org/abs/1703.05298

为了成为一位数据科学家，你还可以在下面链接中阅读关于机器学习算法的例子：

• 机器学习算法例子：

  https://blog.paralleldots.com/data-science/machine-learning/ten-machine-learning-algorithms-know-become-data-scientist/

本文资源已整理打包

公众号后台回复“180801”即可获取下载链接

原文标题：

Best (And Free)Resources to Understand the Nuts and Bolts of Deep Learning

原文链接：

https://dzone.com/articles/best-and-free-resources-to-understand-nuts-and-bol

译者简介

倪骁然，纽约大学计算机硕士在读，对机器学习，计算机视觉和自然语言处理有一些浅显的认识，对知识充满渴求。感慨于这个时代人工智能的快速发展，希望某天能用所学方便每个人的生活。