Py学习  »  机器学习算法

深度学习的四大天王:DNN、CNN、RNN、GAN

深蓝AI • 11 小时前 • 19 次点击  
「深度学习的层级演进逻辑」

在深度学习的版图里,DNN、CNN、RNN、GAN 毫无疑问是四个绕不开的名字。

但我们在学习和面试时,最容易掉进一个认知陷阱:把四者当成并列的四种网络去对比。比如,经常有人会问“GAN 和 CNN 到底谁更强?”

这其实是一个典型的层级错位。

前三者(DNN、CNN、RNN)回答的是同一个问题:“神经元之间怎么连”。而 GAN 回答的是另一个维度的问题:“用什么目标去训练网络”。GAN 本身根本没有规定层该怎么连,它的生成器和判别器既可以是全连接,也可以是卷积或循环结构。

一旦看清了这个错位,很多无意义的比较就自然消失了。顺着这条脉络,你会发现这“四大天王”并非平起平坐,而是一张层级分明的演进地图:

DNN 提供了最底层的连接与训练底座,CNN 和 RNN 各自在连接方式上做了一次有目的的偏置,而 GAN 把训练目标从“拟合标签”换成了“骗过对手”。

欢迎关注【深蓝AI】 
将持续分享人工智能领域前沿动态👇



深蓝AI



1
—
DNN 是所有东西的底座

DNN的全称是DeepNeuralNetwork,中文叫深度神经网络,更早的名字是多层感知机(Multilayer Perceptron,缩写MLP),深度的意思就是层数多了。

它的结构没有特别的技巧。输入是一串数字,排成一个向量。每一层的每个神经元都和上一层的所有神经元相连,所以叫全连接(fully connected)。

单个神经元的计算就两步,先做加权求和,权重乘以输入再加上偏置,然后过一个非线性函数,比如ReLU或者Sigmoid,得到激活值。很多个这样的单元叠起来,就是一层。层数多了,网络就“深”了。


图 | 全连接网络是DNN的典型形态,而且层数够多©【深蓝AI】编译

训练靠反向传播(back propagation)。前向算出预测值,用损失函数(lossfunction)衡量预测和真实标签的差距,然后从最后一层往前,用链式法则(chain rule)把误差一层层传回去,算出每个权重该往哪个方向调,最后由梯度下降( gradient descent)或者Adam这类优化器执行更新。这一套流程是后面三种网络共用的,改的只是连接方式。


图 | 常见优化器的效果对比图©【深蓝AI】编译

这里有个常被过度解读的定理,万能逼近定理(universal approximation theorem)。它说的是,只要隐藏层足够宽,一个前馈网络可以逼近任意连续函数。很多人据此认为全连接无所不能。要注意它只说“存在这样一组权重”,没说梯度下降一定找得到,也没说需要多少参数才够。实践里代价往往大得离谱。


图 | 万能逼近定理(universal approximation theorem)的陈述©【深蓝AI】编译

DNN的缺点是参数效率。它默认输入是一个没有内部结构的向量。给它一张两百二十四乘两百二十四的彩色图,拉平之后是十五万个维度,第一个隐藏层如果有一千个神经元,光这一层就是一点五亿个权重。而且拉平这个动作本身把像素之间的相邻关系抹掉了,左上角和右下角在向量里可能离得很远,网络得自己从数据里重新学“附近的东西可能相关”这件事。这种先验明明人已经知道,却让网络从零开始学,很浪费。

打个比方,DNN像一家不分工的公司,每个员工都要和所有同事直接对接。人少的时候没问题,人一多,沟通线路的工作量就爆炸式增长。



深蓝AI



2
—
CNN:把“局部”这个先验塞进去

CNN全称Convolutional NeuralNetwork,卷积神经网络。

它的核心动作是卷积。拿一个很小的权重矩阵,通常三乘三或者五乘五,叫卷积核(kernel,也叫filter),在输入上按固定步长(stride)一格一格滑过去,每停一处就和那一小块区域做点积,得到一个数。滑完整个图,这些数排成的矩阵叫特征图(featuremap)。边缘不够的地方补零,叫填充(padding)。


图 | CNN的卷积动作 ©【深蓝AI】编译

这个设计背后是两个明确的假设。

  • 第一个是局部性(locality)。图像里一个像素和它周围几个像素关系最紧密,和远处像素的关系要通过中间像素间接建立。所以没必要让一个神经元去看整张图,看一小块就够,这一小块叫感受野(receptivefield)。

  • 第二个是平移等变(translationequivariance)。一只猫出现在左上角和出现在右下角,它是猫这件事不变。既然规律不随位置变,那检测这个规律的权重也不该随位置变。于是同一个卷积核在整张图上复用同一套参数,这叫权值共享(weightsharing)。

这两个假设带来的收益是数量级的。还是那张两百二十四见方的图,用一个三乘三的核,输出六十四个通道,参数量是九乘三乘六十四再加偏置,一千七百多个。和刚才的一点五亿比,差了五个数量级。

卷积之后通常接池化(pooling),比如取一小块区域的最大值(maxpooling),把特征图的长宽压缩一半。作用是减少计算量,同时让特征对小幅平移不那么敏感。


图 | CNN网络架构,DNN以全连接网络形式出现在它的末端©【深蓝AI】编译

网络的深度在这里承担了语义升级的任务。浅层的卷积核学到的是边缘和角这类低层特征。中层把这些组合成纹理和局部形状,比如轮子,比如眼睛。深层再组合成物体级别的概念。这个从局部到全局的堆叠过程,是CNN真正的工作机制。

CNN的短板在全局建模。卷积核再大,一次也只能看到有限范围,两个相距很远但语义相关的区域,要靠堆很多层才能间接连上。这就是后来注意力机制(attention)和Transformer要解决的问题。



深蓝AI



3
—
RNN:让状态沿时间流动

RNN全称Recurrent Neural Network,循环神经网络。

它的输入不再是彼此独立的样本,而是一条序列,一句话,一段语音,一串传感器读数。处理方式是逐步的。每个时间步(time step)读进一个元素,同时读进上一步留下的隐藏状态(hidden state),两者一起算,得到当前输出和新的隐藏状态,新的状态再传给下一步。


图 | RNN的思路其实还启发了Transformer的线性注意力机制,随着时间线把前面的状态叠加进去©【深蓝AI】编译

这个隐藏状态就是记忆。它把过去的信息压缩成一个定长向量,往前走的时候不断被新信息覆盖。同一套权重在每一个时间步复用,这叫沿时间的参数共享,思路和CNN的权值共享同源,都是“规律不随位置变”这个假设的延伸,只不过这里的“位置”是时间。

训练时把网络按时间展开(unroll),变成一条很深的链,然后照常用反向传播,这个特例叫沿时间反向传播(back propagation through time,BPTT)。

麻烦出在这条链太长。梯度在反传过程中要连乘一长串雅可比矩阵,如果这些矩阵的奇异值普遍小于一,梯度就会指数衰减,传几十步之后基本归零,这叫梯度消失(vanishing gradient)。反过来如果普遍大于一,就会指数放大,叫梯度爆炸(exploding gradient),训练直接发散。结果是原始RNN记不住长距离依赖,隔了二十个词的主语和谓语它连不上。

LSTM( Long Short-Term Memory,长短期记忆网络)就是为这个问题设计的。它在隐藏状态之外单独维护一条细胞状态(cell state),并且用三个门控制信息流:遗忘门(forget gate)决定旧信息留多少,输入门(input gate)决定新信息写多少,输出门(output gate)决定当前往外吐多少。

门本身是Sigmoid输出零到一之间的数,起一个可调节开关的作用。细胞状态的更新用的是加法,可以避开乘法连乘带来的梯度衰减,梯度就能沿着这条路径比较顺畅地流回去。GRU(Gated Recurrent Unit,门控循环单元)是它的简化版,把三个门合并成两个,参数更少,效果常常接近。

图 | Long Short-Term Memory,长短期记忆网络是RNN的升级版©【深蓝AI】编译

打比方的话,RNN 像一个边听报告边记笔记的人。笔记页数有限,新内容写进来就得擦掉一些旧的,原始版本擦得太随意,重要的话容易被冲掉。lstm相当于给笔记本加了几个开关,决定这一页写不写、旧的撕不撕、这一刻念不念出来。

RNN的另一个硬伤是串行。第t步必须等前一步算完,没法并行,长序列上训练慢得厉害。这也是它后来在自然语言处理里被Transformer取代的主要原因。



深蓝AI



4
—
GAN 的训练目标是以假乱真

GAN全称Generative Adversarial Network,生成对抗网络。

前面三种网络解决的都是判别问题,给输入,输出一个标签或者一个数值。GAN要做的是生成,给一段随机噪声,输出一个和训练数据长得像的新样本。

它的结构里有两个网络。生成器(generator,记作G)接收一个低维随机向量z,把它映射成一张图或者一段文本。判别器(discriminator,记作D)接收一个样本,输出它是真样本的概率。


图 | 左右互搏是GAN架构的核心©【深蓝AI】编译

训练是一个博弈。D的目标是尽量分对,真样本判高,G造的判低。G的目标是让D判错,也就是让假样本的分数尽量高。两者交替更新,形式化写出来是一个极小极大的目标函数,G最小化,D最大化。

理论上当G 学到的分布和真实数据分布一致时,D对任何输入的输出都是随机的二分之一,它已经分不出来了,只能瞎猜。这时候训练达到均衡。

GAN的训练出了名的难。一个典型问题是模式崩塌(modecollapse)。G发现某一类样本特别容易骗过D,就反复只生成这一类,把数据分布的其他部分丢掉,输出多样性骤降。另一个问题是不稳定,两边实力失衡时,一方梯度过强或者过弱,训练就震荡或者停滞。原始目标用的JS散度在分布不重叠时梯度接近零,所以后来有WGAN用Earth Mover距离替换,用Lipschitz约束把判别器的变化幅度限住。

常见的变体还有DCGAN,把卷积结构引入生成器和判别器,是做图像生成的经典配置。cGAN(conditionalGAN,条件生成对抗网络)在G和D里都额外输入类别或者文本条件,实现可控生成。StyleGAN在生成器里做风格分层,能控制不同尺度上的细节。

它的比喻很直白,一个造假币的,一个验钞的。验钞的水平提高,造假的就得跟着提高,两边互相逼着进步,直到假币连验钞机都认不出来。

要点在于,GAN 是一种训练框架,不属于层结构的范畴。G和D用什么网络由任务决定。做图像,多半用CNN。做序列,可以接RNN。早期的简单版本直接用全连接。所以把它和CNN并列成“两种网络”是不准确的,它们回答的不是同一个问题。



深蓝AI



5
—
总结

DNN是公共底座。反向传播、激活函数、损失函数、优化器这套东西,后面三种全部沿用,没有另起炉灶。

CNN和RNN是在连接方式上做改造。CNN把全连接换成局部连接加权值共享,注入的先验是“空间上近的更相关”。 RNN把层间连接换成带状态的循环,注入的先验是“时间上早的影响晚的”。两者都是对DNN的约束式改良,用“少看一些”换取参数效率和样本效率。

GAN是正交的另一个维度。它不规定连接方式,规定的是优化目标。从“最小化和标签的差距”换成“最小化被识破的概率”。所以它可以搭载在任何一种结构之上,也可以和它们任意组合。

组合的例子不少。DCGAN是CNN加GAN。图像描述生成里常见CNN提特征、RNN出句子,是两个结构的串联。SeqGAN用RNN当生成器,用另一个网络当判别器来评整句的质量。这些组合之所以成立,正是因为GAN和另外三者不在同一层。

再放一组对照来看会更清楚。

DNN几乎没有先验,适合表格类低维数据,结构最简单但是参数最多。CNN的先验是局部性和平移等变,适合图像、频谱这类网格数据。RNN的先验是时序依赖,适合文本、语音、传感器序列,缺点是串行。GAN的先验不体现在结构上,体现在目标上,适合生成任务。

有人会说RNN 已经被Transformer淘汰了,GAN也被扩散模型(diffusion model)替代下去了。这个说法有一半是对的。

RNN在自然语言处理的主流位置上确实退场了,原因就是那个串行结构在长序列上代价太高,注意力机制能把任意两个位置直接连上,还能整段并行。但RNN的思路没死,状态传递这个机制在流式处理、在线预测、嵌入式设备低算力场景里仍然有用,因为它不需要保存整个历史。

GAN在图像生成上的风头被扩散模型抢走不少,生成质量和多样性上扩散模型更稳。但对抗训练这个思想还在用,比如用判别器做感知损失,比如在蒸馏里用小模型对抗逼近大模型,比如各种对抗样本和鲁棒性研究。

CNN依然是视觉领域的主力结构之一,尤其是在算力受限的边缘设备上,卷积的局部性和高效性没法被完全替代。

DNN更不用说,它是所有结构的最终形态基础,注意力层里那一堆矩阵乘法,本质上还是全连接的变体。

所以串起来看这四样东西,得到的不是四个并列的知识点,而是一张地图:底层是连接方式和训练范式,往上是不同的先验假设,再往上是针对具体数据形态的选择。理解了这张地图,遇到新结构的时候就容易举一反三,可以问三个问题,它改了连接方式还是改了目标函数,它注入了什么先验,它为此放弃了什么。

编辑|咖啡鱼

审核|阿蓝


 往期推荐 
 Recommend 


图片
近五年谁在 Science Robotics 上发文最多?盘点全球顶尖机器人实验室
图片
3D目标检测经典算法全盘点:单目、双目、激光雷达
欢迎关注【深蓝AI】 
持续分享人工智能领域前沿动态👇
图片


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203670