【导读】几何深度学习是当下的研究热点。如何进行深度理解？ICLR2021大会上，来自伦敦帝国理工学院教授，Twitter 图机器学习研究负责人Michael Bronstein进行了关于几何深度学习报告，并以视频讲解，生动形象，值得学习!
Michael Bronstein，伦敦帝国理工学院教授，Twitter 图机器学习研究负责人，CETI 项目机器学习领导、Twitter 图机器学习负责人、研究员、教师、企业家和投资者。
https://www.imperial.ac.uk/people/m.bronstein
ICLR2021《几何深度学习》报告
“对称，无论你如何定义它的意义，是一个概念，古今中外的人类试图通过它来理解和创造秩序、美和完美。”这个诗意的定义来自于伟大的数学家赫尔曼·韦尔，他被认为奠定了现代宇宙理论的基础。另一位伟大的物理学家菲利普·安德森(Philip Anderson)说:“把物理学说成是对对称性的研究只是稍微夸张了一点。”
在数学中，对称性在19世纪的几何基础中起着至关重要的作用。现在，它可能会对另一个新兴领域产生类似的影响。深度学习在最近几十年取得的成功意义重大——从革命性的数据科学，到计算机视觉、棋盘游戏和蛋白质折叠方面的里程碑式成就。与此同时，由于缺乏统一的原则，很难理解不同神经网络架构之间的关系，从而导致对相同概念的再创造和再品牌化。
迈克尔·布朗斯坦(Michael Bronstein)是伦敦帝国理工学院(Imperial College London)的教授，也是推特(Twitter)图ML研究的负责人，他致力于通过对称的视角实现深度学习的几何统一。在ICLR 2021年的主题演讲中，他提出了一个共同的数学框架来研究最成功的网络架构，给出了一个建设性的程序，以原则性的方式构建未来的机器学习，可以应用于新的领域，如社会科学，生物学和药物设计。
近两千年来，“几何”这个词一直是欧几里得几何的同义词，因为没有其他类型的几何存在。欧几里得的垄断在19世纪结束了，当时有多个非欧几里得几何的例子被构造出来。然而，这些研究迅速分化到不同的领域，数学家们争论不同几何之间的关系和什么定义一个。Felix Klein在他的Erlangen程序中提出了一种摆脱这种困境的方法，他提出将几何近似为使用群论语言研究不变量或对称性。在20世纪，这些思想是现代物理学发展的基础，并在标准模型(Standard Model)中达到顶峰。
深度学习的现状与19世纪的几何领域有些相似: 一方面，在过去的十年中，深度学习给数据科学带来了一场革命，使许多以前被认为是无法实现的任务成为可能，包括计算机视觉、下围棋或蛋白质折叠。与此同时，我们有各种各样的神经网络架构，但很少有统一的原则。在过去，很难理解不同的方法之间的关系，不可避免地导致相同概念的重新发明和重新命名。
几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构，如CNNs、RNNs、GNNs和transformer，并提供了一个建设性的过程来将先前的知识融入到神经网络中，并以一种原理性的方式构建未来的架构。在这次演讲中，我将概述关于网格、图和流形几何深度学习的数学原理，并展示这些方法在广泛的领域中令人兴奋和开创性的应用。
Klein 的爱尔兰根纲领将几何学定义为研究在某类变换下保持不变的性质。我们通过保持面积、距离、角度、平行结构不变的刚性变换（建模为等距群）定义 2 维欧氏几何。仿射变换将保持平行结构，但并不能保证距离或面积不变。射影变换的不变性最弱，只保持交点和交比不变，对应于以上三种变换中最大的群。因此，Klein 认为射影几何是最为通用的。
图注：现代的深度学习——有各种各样的架构，但是缺乏统一的原理。
图注：几何深度学习的“ 5G”图景：网格，群（具有全局对称性的均匀空间），图（以及作为特定情况的集合）和流形，其中几何先验通过全局等距不变性（可以使用测地线表示） 和局部规范对称性显现。
重磅！《几何深度学习》新书发布，帝国理工/DeepMind等图ML大牛共同撰写，160页pdf阐述几何DL基础原理和统一框架
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
