Week1
>>绪论,花书6.1-6.2
【视频课】导读视频,了解训练营学习计划
【视频课】了解并熟悉基础数学理论,包括线性代数、概率论和数值计算
【视频课】了解并熟悉掌握基础机器学习理论
【视频课】了解神经网络结构工作的原理,能够自主构建网络解决XOR问题
【视频课】了解输出单元常用函数(linear、sigmoid、tanh、softmax)
【视频课】了解常用的损失函数种类(MSE、cross entropy)
作业:
【代码】参考Notebook,温习线性代数
【总结】列出花书前五章必须要掌握的十个知识点,附带上自己的学习心得
【推导】参考博客,完成softmax输出单元cross-entropy损失函数的梯度推导
【代码】参考Notebook,温习机器学习基础
Week2
>>花书6.3-6.4,花书6.5-6.6
【视频课】了解隐藏单元常用函数(sigmoid、tanh、ReLU、softmax),绘制其图形
【视频课】掌握并推导激活函数导数表达式,了解不同激活函数的优缺点
【视频课】了解如何初步进行网络架构设计,一般通过实验进行验证
【视频课】掌握计算图和链式法则,能够推导MLP反向传播公式
【视频课】了解神经网络的历史
作业:
【推导】参考博客,完成一个反向传播实例
【实践】参考教程,在网页上搭建简易神经网络
【代码】参考Notebook,训练前馈神经网络
Week3
>>花书9.1-9.4,花书9.5-9.11
【视频课】了解CNN和MLP的区别和联系,CNN有哪些优势
【视频课】掌握卷积运算的原理
【视频课】了解常见的池化操作方法
【视频课】掌握卷积运算后尺寸计算,它与卷积核大小、步长、padding有关
【视频课】了解卷积网络的历史及加速方法
作业:
【作图】画出以下网络结构示意图:AlexNet, VGGNet, Inception, ResNet
【代码】参考Notebook,训练卷积神经网络
Week4
>>花书10.1-10.2,花书10.3-10.6
【视频课】掌握RNN的展开计算图
【视频课】了解各种循环神经网络的设计
【视频课】掌握RNN的梯度计算
【视频课】了解循环网络常用结构(双向RNN、深度循环网络和递归神经网络)
作业:
【作图】画出图10.13c的展开图
【作图】可以完成给定任务的RNN计算图
Week5
>>花书10.7-10.12
【视频课】了解RNN长期依赖的困难(梯度消失和梯度爆炸)
【视频课】掌握门控制循环网络(LSTM和GRU)
【视频课】了解优化长期依赖和外显记忆
作业:
【推导】参考博客,了解随时间反向传播在LSTM中的推导
【总结】列出花书第6、9、10章必须要掌握的十个知识点,附带上自己的学习心得
Week6
>>花书12.1-12.3,花书12.4-12.5
作业:
【总结】观看深度学习最新进展视频,总结几条你认为深度学习最有潜力的发展方向
Week7
>>花书11.1-11.6,花书7.1-7.5
【视频课】掌握参数范数惩罚(L1正则化和L2正则化),了解L1正则化和L2正则化的区别
【视频课】了解约束范数惩罚
【视频课】了解数据增强和噪声的作用
作业:
【推导】用公式说明为何L2正则化又常被称作“weight decay”
【习题】过拟合相关习题训练
Week8
>>花书7.6-7.9,花书7.10-7.14
【视频课】了解半监督学习方式和多任务学习方式
【视频课】了解提前终止、参数绑定和参数共享,其中提前终止在实际中很有效
【视频课】了解稀疏表示实现正则化
【视频课】了解Bagging和Boosting的区别
【视频课】掌握Dropout的原理,其与Bagging的区别
【视频课】了解对抗训练和流形分类器
作业:
【习题】过拟合相关习题训练(续)
【总结】参考论坛,总结几条防止过拟合的办法
Week9
>>花书8.1-8.4,花书8.5-8.7
作业:
【代码】参考Notebook,实践深度学习中的优化策略
【经典阅读】阅读:Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.
【总结】列出花书第12、11、7、8章必须要掌握的十个知识点,附带上自己的学习心得