What graph neural networks cannot learn: depth vs widthhttps://openreview.net/forum?id=B1l2bp4YwS
洛桑联邦理工学院 Andreas Loukas 的这篇论文,无论在影响力、简洁性还是对理论理解的深度上,无疑是论文中的典范。它表明,当我们用GNN计算通常的图问题时,节点嵌入的维数(网络的宽度,w)乘以层数(网络的深度,d)应该与图n的大小成正比,即dW=O(n)。但现实是当前的GNN的许多实现都无法达到此条件,因为层数和嵌入的尺寸与图的大小相比还不够大。另一方面,较大的网络在实际操作中不合适的,这会引发有关如何设计有效的GNN的问题,当然这个问题也是研究人员未来工作的重点。需要说明的是,这篇论文还从80年代的分布式计算模型中汲取了灵感,证明了GNN本质上是在做同样的事情。这篇文章还包含有大量有价值的结论,强烈建议去阅读原文。可关注「AI科技评论」微信公众号,后台回复「2020年GML趋势」下载论文。同样,在另外两篇论文中,Oono等人研究了GNN的能力。第一篇文章是《图神经网络在节点分类中失去了表达能力》,第二篇文章是《图神经网络的逻辑表达》。
Graph Neural Networks Exponentially Lose Expressive Power for Node Classificationhttps://openreview.net/forum?id=S1ldO2EFPr
Measuring and Improving the Use of Graph Information in Graph Neural Networkshttps://openreview.net/forum?id=rkeIIkHKvS On the Equivalence between Positional Node Embeddings and Structural Graph Representationshttps://openreview.net/forum?id=SJxzFySKwH
Graph Convolutional Reinforcement Learninghttps://openreview.net/forum?id=HkxdQkSYDB Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generationhttps://openreview.net/forum?id=HygnDhEtvr
You CAN Teach an Old Dog New Tricks! On Training Knowledge Graph Embeddingshttps://openreview.net/forum?id=BkxSmlBFvr
在今年的图神经网络(或者说机器学习)中经常出现的一个研究方向是:对现有模型的重新评估,以及在一个公平环境中进行测评。上面这篇文章即是其中一个,他们的研究表明,新模型的性能往往取决于试验训练中的“次要”细节,例如损失函数的形式、正则器、采样的方案等。在他们进行的大型消融研究中,作者观察到将旧的方法(例如RESCAL模型)的超参数进行适当调整就可以获得SOTA性能。当然在这个领域还有许多其他有趣的工作,Allen et al. 基于对词嵌入的最新研究,进一步探究了关系与实体的学习表示的隐空间。Asai et al. 则展示了模型如何在回答给定query的Wikipedia图谱上检索推理路径。Tabacof 和 Costabello 讨论了图嵌入模型的概率标定中的一个重要问题,他们指出,目前流行的嵌入模型TransE 和ComplEx(通过将logit函数转换成sigmoid函数来获得概率)均存在误校,即对事实的存在预测不足或预测过度。论文链接如下:
On Understanding Knowledge Graph Representationhttps://openreview.net/forum?id=SygcSlHFvS Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answeringhttps://openreview.net/forum?id=SJgVHkrYDH Probability Calibration for Knowledge Graph Embedding Modelshttps://openreview.net/forum?id=S1g8K1BFwS
4、图嵌入的新框架
图嵌入是图机器学习的一个长期的研究主题,今年有一些关于我们应该如何学习图表示的新观点出现。
GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embeddinghttps://openreview.net/forum?id=r1lGO0EKDH
Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification https://openreview.net/forum?id=BJxQxeBYwH
另外还有一项工作是UCLA孙怡舟团队的工作。这项工作显示如果用一个线性近邻聚合函数取代原有的非线性近邻聚合函数,模型的性能并不会下降。这与之前大家普遍认为“图数据集对分类的影响并不大”的观点是相反的。同时这项工作也引发一个问题,即如何为此类任务找到一个合适的验证框架。关注「AI科技评论」微信公众号,并后台回复「2020年GML趋势」下载文中论文打包合集。 文章内容选自 towardsdatascience.com,Top Trends of Graph Machine Learning in 2020