【阿姆斯特丹博士论文】具有广义对称性的机器学习

来源：专知
本文约1000字，建议阅读5分钟
本论文探讨并扩展了迅速发展的几何深度学习领域，特别关注那些对具有群作用的空间具有等变性的神经网络。

本论文探讨并扩展了迅速发展的几何深度学习领域，特别关注那些对具有群作用的空间具有等变性的神经网络。我们的工作分为两个部分。

在第一部分中，我们通过引入新的群、作用和架构，扩展了现有的方法。我们首先开发了针对网格设计的神经网络，这些网络对切平面基的旋转对称性具有等变性。接着，我们介绍了更具可扩展性的等变架构，用于处理三维数据，利用了变换器（transformers）和几何代数的强大能力。此外，我们还提出了更高效的量子系统采样器，这些采样器对对称性不变，进一步扩展了几何深度学习技术的应用范围。在所有情况下，我们都发现，将对称性融入神经网络能显著提高其性能。

论文的第二部分将几何深度学习的范围从群拓展到群胚。我们首先将这一概念应用于因果表示学习，在该领域中，我们识别了一个等效模型的群胚，进而促进了从数据中识别模型类别的过程。此外，我们将群等变性推广到群胚上的自然变换，提出了一个新的框架，我们称之为自然深度学习。我们对自然变换空间进行了理论分析，并探讨了其在图结构数据上的应用。最后，我们将基于群胚的方法与强大的信息传递方法相结合，使我们能够包容并形式化许多先前的方法，同时激发出新的方法。