DNN的全称是DeepNeuralNetwork,中文叫深度神经网络,更早的名字是多层感知机(Multilayer Perceptron,缩写MLP),深度的意思就是层数多了。
它的结构没有特别的技巧。输入是一串数字,排成一个向量。每一层的每个神经元都和上一层的所有神经元相连,所以叫全连接(fully connected)。
单个神经元的计算就两步,先做加权求和,权重乘以输入再加上偏置,然后过一个非线性函数,比如ReLU或者Sigmoid,得到激活值。很多个这样的单元叠起来,就是一层。层数多了,网络就“深”了。
图 | 全连接网络是DNN的典型形态,而且层数够多©【深蓝AI】编译
训练靠反向传播(back propagation)。前向算出预测值,用损失函数(lossfunction)衡量预测和真实标签的差距,然后从最后一层往前,用链式法则(chain rule)把误差一层层传回去,算出每个权重该往哪个方向调,最后由梯度下降(
gradient descent)或者Adam这类优化器执行更新。这一套流程是后面三种网络共用的,改的只是连接方式。
图 | 常见优化器的效果对比图©【深蓝AI】编译
这里有个常被过度解读的定理,万能逼近定理(universal approximation theorem)。它说的是,只要隐藏层足够宽,一个前馈网络可以逼近任意连续函数。很多人据此认为全连接无所不能。要注意它只说“存在这样一组权重”,没说梯度下降一定找得到,也没说需要多少参数才够。实践里代价往往大得离谱。
图 | 万能逼近定理(universal approximation theorem)的陈述©【深蓝AI】编译
DNN的缺点是参数效率。它默认输入是一个没有内部结构的向量。给它一张两百二十四乘两百二十四的彩色图,拉平之后是十五万个维度,第一个隐藏层如果有一千个神经元,光这一层就是一点五亿个权重。而且拉平这个动作本身把像素之间的相邻关系抹掉了,左上角和右下角在向量里可能离得很远,网络得自己从数据里重新学“附近的东西可能相关”这件事。这种先验明明人已经知道,却让网络从零开始学,很浪费。
打个比方,DNN像一家不分工的公司,每个员工都要和所有同事直接对接。人少的时候没问题,人一多,沟通线路的工作量就爆炸式增长。
CNN全称Convolutional NeuralNetwork,卷积神经网络。
它的核心动作是卷积。拿一个很小的权重矩阵,通常三乘三或者五乘五,叫卷积核(kernel,也叫filter),在输入上按固定步长(stride)一格一格滑过去,每停一处就和那一小块区域做点积,得到一个数。滑完整个图,这些数排成的矩阵叫特征图(featuremap)。边缘不够的地方补零,叫填充(padding)。
图 | CNN的卷积动作
©【深蓝AI】编译
这个设计背后是两个明确的假设。
第一个是局部性(locality)。图像里一个像素和它周围几个像素关系最紧密,和远处像素的关系要通过中间像素间接建立。所以没必要让一个神经元去看整张图,看一小块就够,这一小块叫感受野(receptivefield)。
第二个是平移等变(translationequivariance)。一只猫出现在左上角和出现在右下角,它是猫这件事不变。既然规律不随位置变,那检测这个规律的权重也不该随位置变。于是同一个卷积核在整张图上复用同一套参数,这叫权值共享(weightsharing)。
这两个假设带来的收益是数量级的。还是那张两百二十四见方的图,用一个三乘三的核,输出六十四个通道,参数量是九乘三乘六十四再加偏置,一千七百多个。和刚才的一点五亿比,差了五个数量级。
卷积之后通常接池化(pooling),比如取一小块区域的最大值(maxpooling),把特征图的长宽压缩一半。作用是减少计算量,同时让特征对小幅平移不那么敏感。
图 | CNN网络架构,DNN以全连接网络形式出现在它的末端©【深蓝AI】编译
网络的深度在这里承担了语义升级的任务。浅层的卷积核学到的是边缘和角这类低层特征。中层把这些组合成纹理和局部形状,比如轮子,比如眼睛。深层再组合成物体级别的概念。这个从局部到全局的堆叠过程,是CNN真正的工作机制。
CNN的短板在全局建模。卷积核再大,一次也只能看到有限范围,两个相距很远但语义相关的区域,要靠堆很多层才能间接连上。这就是后来注意力机制(attention)和Transformer要解决的问题。
RNN全称Recurrent Neural Network,循环神经网络。
它的输入不再是彼此独立的样本,而是一条序列,一句话,一段语音,一串传感器读数。处理方式是逐步的。每个时间步(time step)读进一个元素,同时读进上一步留下的隐藏状态(hidden state),两者一起算,得到当前输出和新的隐藏状态,新的状态再传给下一步。
图 | RNN的思路其实还启发了Transformer的线性注意力机制,随着时间线把前面的状态叠加进去©【深蓝AI】编译
这个隐藏状态就是记忆。它把过去的信息压缩成一个定长向量,往前走的时候不断被新信息覆盖。同一套权重在每一个时间步复用,这叫沿时间的参数共享,思路和CNN的权值共享同源,都是“规律不随位置变”这个假设的延伸,只不过这里的“位置”是时间。
训练时把网络按时间展开(unroll),变成一条很深的链,然后照常用反向传播,这个特例叫沿时间反向传播(back propagation through time,BPTT)。
麻烦出在这条链太长。梯度在反传过程中要连乘一长串雅可比矩阵,如果这些矩阵的奇异值普遍小于一,梯度就会指数衰减,传几十步之后基本归零,这叫梯度消失(vanishing gradient)。反过来如果普遍大于一,就会指数放大,叫梯度爆炸(exploding gradient),训练直接发散。结果是原始RNN记不住长距离依赖,隔了二十个词的主语和谓语它连不上。
LSTM(
Long Short-Term Memory,长短期记忆网络)就是为这个问题设计的。它在隐藏状态之外单独维护一条细胞状态(cell state),并且用三个门控制信息流:遗忘门(forget gate)决定旧信息留多少,输入门(input gate)决定新信息写多少,输出门(output gate)决定当前往外吐多少。
门本身是Sigmoid输出零到一之间的数,起一个可调节开关的作用。细胞状态的更新用的是加法,可以避开乘法连乘带来的梯度衰减,梯度就能沿着这条路径比较顺畅地流回去。GRU(Gated Recurrent Unit,门控循环单元)是它的简化版,把三个门合并成两个,参数更少,效果常常接近。
图 | Long Short-Term Memory,长短期记忆网络是RNN的升级版©【深蓝AI】编译
打比方的话,RNN
像一个边听报告边记笔记的人。笔记页数有限,新内容写进来就得擦掉一些旧的,原始版本擦得太随意,重要的话容易被冲掉。lstm相当于给笔记本加了几个开关,决定这一页写不写、旧的撕不撕、这一刻念不念出来。
RNN的另一个硬伤是串行。第t步必须等前一步算完,没法并行,长序列上训练慢得厉害。这也是它后来在自然语言处理里被Transformer取代的主要原因。
GAN全称Generative Adversarial Network,生成对抗网络。
前面三种网络解决的都是判别问题,给输入,输出一个标签或者一个数值。GAN要做的是生成,给一段随机噪声,输出一个和训练数据长得像的新样本。
它的结构里有两个网络。生成器(generator,记作G)接收一个低维随机向量z,把它映射成一张图或者一段文本。判别器(discriminator,记作D)接收一个样本,输出它是真样本的概率。
图 | 左右互搏是GAN架构的核心©【深蓝AI】编译
训练是一个博弈。D的目标是尽量分对,真样本判高,G造的判低。G的目标是让D判错,也就是让假样本的分数尽量高。两者交替更新,形式化写出来是一个极小极大的目标函数,G最小化,D最大化。
理论上当G
学到的分布和真实数据分布一致时,D对任何输入的输出都是随机的二分之一,它已经分不出来了,只能瞎猜。这时候训练达到均衡。
GAN的训练出了名的难。一个典型问题是模式崩塌(modecollapse)。G发现某一类样本特别容易骗过D,就反复只生成这一类,把数据分布的其他部分丢掉,输出多样性骤降。另一个问题是不稳定,两边实力失衡时,一方梯度过强或者过弱,训练就震荡或者停滞。原始目标用的JS散度在分布不重叠时梯度接近零,所以后来有WGAN用Earth Mover距离替换,用Lipschitz约束把判别器的变化幅度限住。
常见的变体还有DCGAN,把卷积结构引入生成器和判别器,是做图像生成的经典配置。cGAN(conditionalGAN,条件生成对抗网络)在G和D里都额外输入类别或者文本条件,实现可控生成。StyleGAN在生成器里做风格分层,能控制不同尺度上的细节。
它的比喻很直白,一个造假币的,一个验钞的。验钞的水平提高,造假的就得跟着提高,两边互相逼着进步,直到假币连验钞机都认不出来。
要点在于,GAN
是一种训练框架,不属于层结构的范畴。G和D用什么网络由任务决定。做图像,多半用CNN。做序列,可以接RNN。早期的简单版本直接用全连接。所以把它和CNN并列成“两种网络”是不准确的,它们回答的不是同一个问题。
DNN是公共底座。反向传播、激活函数、损失函数、优化器这套东西,后面三种全部沿用,没有另起炉灶。
CNN和RNN是在连接方式上做改造。CNN把全连接换成局部连接加权值共享,注入的先验是“空间上近的更相关”。
RNN把层间连接换成带状态的循环,注入的先验是“时间上早的影响晚的”。两者都是对DNN的约束式改良,用“少看一些”换取参数效率和样本效率。
GAN是正交的另一个维度。它不规定连接方式,规定的是优化目标。从“最小化和标签的差距”换成“最小化被识破的概率”。所以它可以搭载在任何一种结构之上,也可以和它们任意组合。
组合的例子不少。DCGAN是CNN加GAN。图像描述生成里常见CNN提特征、RNN出句子,是两个结构的串联。SeqGAN用RNN当生成器,用另一个网络当判别器来评整句的质量。这些组合之所以成立,正是因为GAN和另外三者不在同一层。
再放一组对照来看会更清楚。
DNN几乎没有先验,适合表格类低维数据,结构最简单但是参数最多。CNN的先验是局部性和平移等变,适合图像、频谱这类网格数据。RNN的先验是时序依赖,适合文本、语音、传感器序列,缺点是串行。GAN的先验不体现在结构上,体现在目标上,适合生成任务。
有人会说RNN
已经被Transformer淘汰了,GAN也被扩散模型(diffusion model)替代下去了。这个说法有一半是对的。
RNN在自然语言处理的主流位置上确实退场了,原因就是那个串行结构在长序列上代价太高,注意力机制能把任意两个位置直接连上,还能整段并行。但RNN的思路没死,状态传递这个机制在流式处理、在线预测、嵌入式设备低算力场景里仍然有用,因为它不需要保存整个历史。
GAN在图像生成上的风头被扩散模型抢走不少,生成质量和多样性上扩散模型更稳。但对抗训练这个思想还在用,比如用判别器做感知损失,比如在蒸馏里用小模型对抗逼近大模型,比如各种对抗样本和鲁棒性研究。
CNN依然是视觉领域的主力结构之一,尤其是在算力受限的边缘设备上,卷积的局部性和高效性没法被完全替代。
DNN更不用说,它是所有结构的最终形态基础,注意力层里那一堆矩阵乘法,本质上还是全连接的变体。
所以串起来看这四样东西,得到的不是四个并列的知识点,而是一张地图:底层是连接方式和训练范式,往上是不同的先验假设,再往上是针对具体数据形态的选择。理解了这张地图,遇到新结构的时候就容易举一反三,可以问三个问题,它改了连接方式还是改了目标函数,它注入了什么先验,它为此放弃了什么。