归一化方法可以提高深度神经网络(DNN)的训练稳定性、优化效率和泛化能力，已成为目前最先进的DNN体系结构的基本组成部分。它们还成功地扩散到深度学习的各个领域，包括但不限于计算机视觉、自然语言处理和语音识别。然而，尽管归一化技术发挥了丰富和越来越重要的作用，我们注意到没有一个统一的视角来描述、比较和分析它们。此外，我们对这些方法成功的理论基础仍然难以理解。
本教程涵盖了标准化方法、分析和应用程序，并将解决以下问题:
(1) DNN中不同规范化方法背后的主要动机是什么?我们如何提出一种分类法来理解各种方法之间的异同?
(2) 如何缩小标准化技术的经验成功与我们对它们的理论理解之间的差距?
(3) 针对不同任务设计/裁剪标准化技术的最新进展是什么?它们背后的主要见解是什么?
https://normalization-dnn.github.io
目录内容：
10:00 - 10:30 AM . Motivations of Normalization Techniques. [Slides] [Video] Lecturer: Lei Huang.
10:30 - 11:30 AM . Introduction of Normalization Methods. [Slides] [Video] Lecturer: Lei Huang.
11:30 - 11:45 AM . Break.
11:45 - 12:15 PM . Analyses of Normalization. [Slides] [Video] Lecturer: Lei Huang.
12:15 - 13:15 PM . Applications of Normalization. [Slides] [Video] Lecturer: Lei Huang.
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
