课程介绍
能够从高维数据中提取复杂的分层表示的模型是解决许多ML和AI域的核心,例如视觉对象识别,信息检索,自然语言处理和语音感知。尽管此类深度学习技术的实用性无可争议,但我们对它们的理解仍在许多方面处于初步阶段。本课程的目的是向学生介绍这些方法的最新发展和取得的一些新的技术(理论和实践)。
这是一门高级研究生课程,专为硕士和博士学位而设计,需要一定的数学基础。
本课程涵盖了深度学习的一些理论和方法。涉及的初步主题集包括:
监督学习
神经网络的表示能力:通用逼近,深度分离。现代网络体系结构(ResNet,DenseNet)。
神经网络的一般化:经典界限和现代现象。
深度学习的优化:反向传播法,动量和二阶方法。
无监督学习
经典主题:图模型,隐变量模型,变量推理,MCMC。
自回归模型,自编码器。
生成对抗网络。
自监督/预测学习。
语言模型
词嵌入,递归神经网络,序列到序列体系结构,注意力模型。
文末附本课程视频及ppt下载地址(持续更新)。
课程主讲人