机器学习过程是动力学演化过程，因此动力学理论对其机理的理解提供了重要的角度。本报告将首先阐述我们对机器学习的一些基本概念的理解，简单介绍我们所提出的动力学系统状态预测和系统预测理论和方法及其应用。本报告的重点将介绍我们基于非线性动力学对深度学习机理的认识，引入两种基本学习模式，重新定义学习模型的线性与非线性，定量刻画各层的非线性度；定义输入矢量空间和权值矢量空间吸引域，刻画网络的推广能力和结构稳定性。基于这些概念，将揭示学习过程中学习动力学的突变及其所导致的“顿悟”与双下降等现象，揭示深度网络优越于浅层网络的动力学根源，揭示regularization、batch size、learning rate、dropout等常用策略起作用的机制。最后我们将讨论flat minima hypothesis与权值空间吸引域的联系。
