全栈深度学习第5期: 神经网络调试技巧

一起追剧鸭

简介

Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。

神经网络的调试确实是让人头秃的事情，如何能够有策略的进行模型调试值得了解。本期是FSDL课程的第五期: Troubleshooting Deep Neural Networks，主要介绍了如何调试神经网络。主要包括：

从简入手：深度学习的bugs们通常都是隐身的，即使我们有火眼金睛，也很难找到它们。所以从简化版着手，逐步搭建模型、增加数据量和延后调参都是不错的选择。视频中有介绍采用哪些方法去简化模型，比如初始化采用神奇的学习率3e-4😝。
怎样调试呢？Josh建议首先让代码可以跑起来，然后保证在一个batch上可以overfit，并且最好能够将自己的结果和一个已知的结果进行对比。视频中列了5个最常见的bugs，去看看你遇到过几次呀~也可以当做一个简单的checklist。
如何评估模型的性能？评估模型是overfitting、underfitting的程度，再决定下一步优先做什么。
Test error = irreducible error + bias + variance + distribution shift + val overfitting。对比model在训练、验证、测试集上的表现，寻求bias-variance的平衡。
基础性能评估后，我们需要思考可以从哪些方面改进我们的模型呢？比如：under-fitting，over-fitting都有什么对应策略呢？训练、验证、测试数据分布不一样应该怎么办呢？
调超参有哪些技巧呢？对比了手动调参、网格搜索、随机搜索、coarse-to-fine、贝叶斯超参优化五种方法。

追剧链接：

注：【夕小瑶的卖萌屋】后台回复 DL5获取本期PPT

全栈深度学习第1期：如何启动一个机器学习项目？
全栈深度学习第2期: 开发套件与工具篇
全栈深度学习第3期: 怎样科学管理实验数据？
全栈深度学习第4期: 机器学习岗位区别与团队管理

后台回复关键词【入群】
加入卖萌屋NLP/IR/Rec与求职讨论群
后台回复关键词【顶会】
获取ACL、CIKM等各大顶会论文集！