《深度学习调优指南中文版-系统性优化模型》是一本由Varun Godbole、George E. Dahl、Justin Gilmer、Christopher J. Shallue和Zachary Nado共同撰写的深度学习调参手册，旨在帮助工程师和研究人员系统地优化深度学习模型的性能。该手册由Google和Google Brain团队支持，版本1.0于2022年4月9日发布，由Jay Ning等人翻译成中文。手册内容丰富，涵盖了从项目启动到模型调优的各个阶段，提供了实用的建议和策略。
第1章：开始新项目的指南
选择模型架构：建议从成熟的模型架构开始，逐步调整以适应特定问题。
选择优化器：推荐从常用的优化器（如SGD、Adam）开始，并注意优化器的超参数调整。
选择Batch Size：Batch Size对训练时间和资源消耗有重要影响。建议选择硬件支持的最大Batch Size，并注意其对超参数调整的敏感性。
选择初始配置：初始配置应简单、快速且资源消耗低，以获得“合理”的结果。
第2章：提高模型性能的科学方法
增量调整策略：从简单配置开始，逐步添加功能并进行改进。
探索与利用：大部分时间用于探索，以深入理解问题，少部分时间用于利用以提升性能。
选择实验目标：每轮实验应有明确目标，范围要小，以便取得实质性进展。
设计实验
：根据目标将超参数分为目标超参数、冗余超参数和固定超参数，创建研究以比较不同配置。
从实验结果中获取经验：检查训练曲线、搜索空间边界、采样点数量等，以确保实验结果的有效性。
第3章：确定每次训练运行的步数
受计算限制与不受计算限制的训练：根据资源限制选择合适的训练时长。
使用学习率搜索算法：通过学习率搜索确定初始训练步数。
调整训练步数：根据训练过程中的表现逐步调整训练步数。
第4章：关于训练管道的额外补充
优化输入管道：使用性能分析工具诊断并优化输入管道。
评估模型性能：建议使用较大的Batch Size进行评估，并在固定步长间隔进行评估。
保存检查点并追溯选择最佳检查点：通过回顾性选择最佳检查点来优化模型性能。
设置实验跟踪：记录实验结果，便于分析和比较。
BatchNorm的实现细节：讨论了BatchNorm在多设备设置中的实现问题。
多主机管道的注意事项：在多主机训练中注意日志记录、评估、随机数生成器、检查点和数据分片等问题。
第5章：常见问题的回答
学习率衰减方案：讨论了学习率衰减方案的选择和调整。
Adam的超参数调整：提供了Adam优化器超参数调整的建议。
优化算法的选择：解释了为什么在探索阶段使用Quasi-Random-Search而不是更复杂的黑盒优化算法。
调试和缓解优化失败：提供了识别和解决训练不稳定性的方法，如学习率预热和梯度截断。
关注微信公众号“人工智能产业链union”回复关键字“AI加油站28”获取下载地址。
【AI加油站】第八部：《模式识别（第四版）-模式识别与机器学习》（附下载）
