【导读】来自卡内基梅隆大学Ruslan Salakhutdinov教授主讲的《深度学习》课程开讲了，涵盖了基础知识到深度学习高级话题，非常值得关注！

10707 - Deep Learning

构建能够从高维数据中提取有意义表示的智能机器是解决许多AI相关任务的核心。在过去的几年里，许多不同领域的研究人员，从应用统计学到工程学，计算机科学和神经科学，已经开发出深度(层次)模型——这些模型由多层非线性处理组成。这些模型的一个重要特征是，它们可以通过重用和组合中间概念来学习有用的表示，从而允许这些模型成功地应用于各种领域，包括视觉对象识别、信息检索、自然语言处理和语音感知。这是一门高级研究生课程，专为硕士和博士水平的学生设计，并将假定学生有一定的数学基础。本课程的目标是向学生介绍各种深度学习方法的最新和令人兴奋的发展。

本课程涵盖了深度学习的一些理论和方法。所涉及的初步专题包括:

介绍

背景:线性代数，分布，概率规则。
回归、分类。
前馈神经网络，反向传播算法。介绍流行的优化和正则化技术。
卷积模型及其在计算机视觉中的应用。

深度学习

图模型:有向和无向。
线性因子模型，PPCA, FA, ICA，稀疏编码及其扩展。
自动编码器及其扩展。基于能量的模型, RBM。
蒙特卡罗方法。
学习与推理: 对比发散(CD)，随机最大似然估计，分数匹配，比率匹配，伪似然估计，噪声-对比估计。
退火重要性抽样，分区函数估计。
深度生成模型: 深度信念网络，深度玻尔兹曼机，Helmholtz霍兹机，变分自编码器，重要性加权自编码器，唤醒-睡眠算法。
生成对抗网络(GANs)，生成矩匹配网络，神经自回归密度估计(NADE)。

额外的话题

更多关于深度网络正则化和优化的内容。
序列建模: 循环神经网络。序列到序列的架构，注意力模型。
深度强化学习。

地址：

https://deeplearning-cmu-10707-2022spring.github.io/

讲者介绍：

Ruslan Salakhutdinov，卡内基梅隆大学教授，苹果首任AI总监，加拿大统计机器学习研究主席，微软学者和斯隆奖获得者，主要研究领域为深度学习概率图模型和大规模优化，师从Geoffrey Hinton，是剪枝、深度编码等著名学习方法的提出者。他于2009年获得多伦多大学的博士学位，随后又在麻省理工大学开展了为期两年的博士后研究。2016年，入职卡内基梅隆大学，同年获得英伟达人工智能先驱奖，并加入苹果公司担任AI研究总监。目前Ruslan已累计发表学术论文300多篇，是深度学习领域年轻一代领军科学家，主要的研究方向为：语音识别、计算机视觉、推荐系统、语言理解、药物研发及生物图像分析。

http://www.cs.cmu.edu/~rsalakhu/