【导读】几何深度学习是当下的研究热点。关于GNN类有何进展？最近斯坦福CS224W课程上，来自DeepMind大牛Petar Veličković进行了关于几何深度学习报告，讲述几何深度学习下GNN的相关特性，值得学习!
几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构，如CNNs、RNNs、GNNs和transformer，并提供了一个建设性的过程来将先前的知识融入到神经网络中，并以一种原理性的方式构建未来的架构。
Klein 的爱尔兰根纲领将几何学定义为研究在某类变换下保持不变的性质。我们通过保持面积、距离、角度、平行结构不变的刚性变换（建模为等距群）定义 2 维欧氏几何。仿射变换将保持平行结构，但并不能保证距离或面积不变。射影变换的不变性最弱，只保持交点和交比不变，对应于以上三种变换中最大的群。因此，Klein 认为射影几何是最为通用的。
图注：现代的深度学习——有各种各样的架构，但是缺乏统一的原理。
图注：几何深度学习的“ 5G”图景：网格，群（具有全局对称性的均匀空间），图（以及作为特定情况的集合）和流形，其中几何先验通过全局等距不变性（可以使用测地线表示） 和局部规范对称性显现。
报告目录内容：
1 高维空间学习难度 Learning in
high dimensions
is hard
2 对称，群组和不变性，Symmetries,
Groups and
Invariances
3 几何深度学习蓝图 The Blueprint
of Geometric
Deep Learning
4 及和深度学习5G。The “5G” of
Geometric
Deep Learning
5 图神经网络的几何深度视角 Geometric DL
Perspective on
Graph Neural
Networks
6 排列等变换是GNN Permutation
equivariant
NNs are GNNs
7
The Fourier
connection:
CNNs and
Spectral GNNs
8
The Group
connection:
Spherical CNNs
9
Geometric
Graphs,
Geodesics and
Gauges
A
Further
resources
Petar Veličković
Petar Veličković现为 DeepMind Staff科学家。他于 2019 年从剑桥大学获得计算机科学博士学位，导师为 Pietro Liò。他的研究方向包括：设计在复杂结构数据上运行的神经网络架构（如图网络），及其在算法推理和计算生物学方面的应用。
Petar Veličković是图注意力网络的一作，他和 Guillem Cucurull、Yoshua Bengio 等人一起完成了图注意力网络的开山之作——《Graph Attention Networks》，这篇论文被 ICLR 2018 接收，目前被引量超过 3000。
除了图注意力网络，他还是《Deep Graph Infomax》的一作。在这篇论文中，他和 William Fedus、Yoshua Bengio 等人提出了以无监督方式学习图结构数据中节点表示的通用方法，该论文被 ICLR 2019 接收。去年，机器之心曾报道过他的博士论文，Petar 用 147 页篇幅详述了「结构在神经网络中的复兴」，涵盖他之前的研究工作和其他关于 GNN 的内容。而今天介绍的这个讲座更是融合了他「近 4 年 GNN 研究的精华」，对图神经网络领域感兴趣的读者可以一看。个人主页地址：https://petar-v.com/
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！
欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
