数据、算力和算法是人工智能的三大基石,而我们唯一可控、可学且能够学会的就是算法。
以深度学习为代表的人工智能技术深刻地影响着我们的生活方式,从图像识别、语音识别、机器翻译到智能医诊、自动驾驶、智能风控 ······ 在多个应用领域不断地刷新纪录。深度学习近年来之所以能取得颠覆性突破,一方面,归功于“数字化”对社会的渗透使得大量数据得以积累;另一方面,受益于单位成本下硬件算力的提升,推动了复杂模型的商用;然而最根本的,还是来自深度学习背后基础算法的巧思妙想与厚积薄发。只有深入了解深度学习的算法原理,才能更灵活、高效地运用于实践当中。现有的深度学习框架将算法使用简化为“调包”和“调参”。降低了使用成本,然而却没有降低学习成本。对于算法,最有效的学习方式是理解原理并动手实践。从原始论文可以查阅算法的详解和推导,却不容易复现结果。主流的深度学习框架多采用计算图模型,不容易调试或观察,对希望深入了解算法的初学者并不友好。致力于用深度学习方法创造社会价值的从业者,也需要看清底层算法的脉络,来做模型的定制、优化和改进。《实战深度学习算法:零起点通关神经网络模型(基于Python和NumPy实现)》系统地介绍了如何用Python和NumPy一步步地实现深度学习的基础模型,无须借助TensorFlow、PyTorch等深度学习框架,帮助读者更好地理解底层算法的脉络,进而进行模型的定制、优化和改进。
本书的特点是“原理 + 实践”。按照“带着问题看算法”的逻辑来组织内容,所描述的每一种深度学习算法都围绕一个实际的目标问题展开,提供了基础算法的必要推导和实例,方便直观理解。
第 1章 基础分类模型
感知机函数
损失函数
感知机学习算法
环境搭建
数据准备
实现感知机算法
参考文献
数据集
图像数据和图向量
信息熵
交叉熵
数据准备
实现第一个神经网络
实现 MINIST手写数字识别
参考文献 38
第 3章 多层全连接神经网络
欠拟合与过拟合
正则化
正则化的效果
数据准备
实现多层全连接神经网络
在数据集上验证模型
参考文献 54
第 4章 卷积神经网络(CNN)
卷积层
池化层
全连接层和 Softmax处理
全连接层
池化层反向传播
卷积层反向传播
数据准备
卷积神经网络模型的原始实现
第 5章 卷积神经网络——算法提速和优化
边缘填充提速
池化层提速
卷积层处理
池化层反向传播
卷积层反向传播
动量方法
NAG方法
Adagrad方法
RMSprop方法
AdaDelta方法
Adam方法
各种优化方法的比较
5.8 使用 CNN实现 MNIST手写数字识别验证 101参考文献 103
第 6章 批量规范化(Batch Normalization)
数据集偏移
输入分布偏移
内部偏移
训练时的前向计算
规范化与标准化变量
推理预测时的前向计算
全连接层和卷积层的批量规范化处理
梯度传递问题
饱和非线性激活问题
正则化效果
训练时的前向传播
反向传播
推理预测
模型结构
卷积层批量规范化的实现
引入批量规范化后的递减学习率
参考文献 123
第 7章 循环神经网络(Vanilla RNN)
单层 RNN
双向 RNN
多层 RNN
误差的反向传播
激活函数的导函数和参数梯度
7.5 第二个挑战:循环神经网络的梯度传递问题 133数据准备
模型搭建
验证结果
参考文献 147
第 8章 长短时记忆网络(LSTM)——指数分析
误差反向传播
激活函数的导函数和参数梯度
实现 LSTM单时间步的前向计算
实现 LSTM多层多时间步的前向计算
实现 LSTM单时间步的反向传播
实现 LSTM多层多时间步的反向传播
数据准备
模型构建
分析结果
参考文献 169
第 9章 双向门控循环单元(BiGRU)——情感分析
单时间步的前向计算
实现单时间步的反向传播
数据预处理
构建情感分析模型
Dropout前向传播算法
Dropout反向传播算法
Dropout Rate的选择
9.12 再次验证:GRU+Dropout 1869.15 第三次验证:BiGRU+Dropout 188参考文献 189
附录 A向量和矩阵运算
附录 B导数和微分
附录 C向量和矩阵导数
附录 D概率论和数理统计
索引
实践是对理解进行校验和纠偏的最佳途径。有侧重地理解核心和基础的算法,实现之,有助于复现业内新发布的方法。如果结合自身场景,能够优化改进现有算法,还可以扩展已知方法的边界。
在本文下方留言,发表您在学习或者使用算法过程中的经验感想,机会总是靠自己去争取来的!小编将对留言进行精选,被精选的留言才会在留言区显示并获得相应的楼层(由于微信留言功能限制,最多只能显示100条)。
踩楼送书活动获奖须知:
1、活动结束时踩中指定楼层的精选留言将获得《实战深度学习算法:零起点通关神经网络模型(基于Python和NumPy实现)》一本,共6名中奖者
2、活动结束我们会在本公众号公布中奖楼层的解压密码,并在3个工作日内收集到获奖用户信息后发出(注意啦:3个工作日未与小编联系视为自动放弃奖品,收到奖品的小伙伴欢迎来留言区晒晒。)
3、获奖楼层下载地址(文件解压密码2019年10月5日公布)
百度云链接:
https://pan.baidu.com/s/14jKDlu6dwiPGO0lDUbkK1g
提取码:
wgt6
活动时间:即日起至2019年10月5日下午4点整
更多精彩
在公众号后台对话框输入以下
关键词
查看更多优质内容!
女朋友 | 大数据 | 运维 | 书单 | 算法
大数据 | JavaScript | Python | 黑客
AI | 人工智能 | 5G | 区块链
机器学习 | 数学 | 留言送书
觉得不错,请把这篇文章分享给你的朋友
转载 / 投稿请联系:Panda-nian
更多精彩,点击菜单栏“文章”进行查看
● 今天你签到了吗?