Py学习  »  机器学习算法

分享丨图神经网络如何时序化?看Twitter最新《动态图深度学习:时序图网络TGN》研究,附论文与PPT下载

中国人工智能学会 • 3 年前 • 238 次点击  

转自 专知


图神经网络(GNNs)最近变得越来越受欢迎,因为它们能够学习复杂的关系或交互系统,这些系统产生于广泛的问题,从生物学和粒子物理到社会网络和推荐系统。尽管关于图的深度学习有很多不同的模型,但迄今为止,很少有人提出处理具有某种动态性质(例如,随着时间的推移,进化的特征或连接性)的图的方法。在本文中,我们提出了时序图网络(TGNs),这是一个通用的、有效的框架,用于在以时间事件序列表示的动态图上进行深度学习。由于内存模块和基于图形的操作符的新颖组合,TGN能够显著优于以前的方法,同时计算效率更高。我们进一步表明,几个以前的模型学习动态图可以铸为我们的框架的具体实例。我们对我们的框架的不同组成部分进行了详细的消融研究,并设计出最佳配置,以在动态图形的几个转导和归纳预测任务上达到最先进的性能。


https://www.zhuanzhi.ai/paper/b52c8ed9452450b0793e8f0470ef69d8

视频:



在过去的几年里,图表示学习(Bronstein et al., 2017; Hamilton et al., 2017b; Battaglia et al., 2018)已经取得了一系列成功,在机器学习领域越来越受欢迎。在许多领域,图普遍被用作关系和交互系统的模型(Battaglia et al., 2016; Qi et al., 2018; Monti et al., 2016; Choma et al., 2018; Duvenaud et al., 2015; Gilmer et al., 2017; Parisot et al., 2018; Rossi et al., 2019),特别是社会科学(Ying et al., 2018; Monti et al., 2019; Rossi et al., 2020)和生物学(Zitnik et al., 2018; Veselkov et al., 2019; Gainza et al., 2019)。神经网络学习等数据可以使用图(卫星系统)进行(汉密尔顿et al ., 2017),通常由一个消息传递机制运作(巴塔利亚et al ., 2018)聚合信息节点并创建节点的邻居嵌入,然后用于节点分类(Monti et al., 2016; Velickovic et al., 2018; Kipf & Welling, 2017),图分类(Gilmer et al., 2017),或边缘预测(Zhang & Chen, 2018)任务。


大多数关于图的深度学习方法都假设底层图是静态的。然而,大多数现实生活中的互动系统,如社会网络或生物互动是动态的。虽然通常可能应用静态图深度学习模型(Liben-Nowell & jonkleinberg, 2007)动态图,忽略了时间进化,这已被证明是最优(徐et al ., 2020),在某些情况下,它是关于系统的动态结构,其中包含关键的见解。动态图的学习是最近才开始的,大多数的工作都局限于将离散时间动态图设置(Liben-Nowell & Kleinberg, 2007; Dunlavy et al., 2011; Yu et al., 2019; Sankar et al., 2020; Pareja et al., 2019; Yu et al., 2018)。这种方法不适合有趣的现实世界设置,如社交网络,动态图是连续的(即边可以随时出现)和不断进化的(即新节点不断加入图)。直到最近,人们才提出了几种支持连续时间假设的方法(Xu et al., 2020; Trivedi et al., 2019; Kumar et al., 2019; Ma et al., 2018; Nguyen et al., 2018; Bastas et al., 2019)。


在本文中,我们首先提出了运行在连续时间动态图上的时序图网络(TGNs)的一般归纳框架,并表明许多以前的方法都是TGNs的具体实例。其次,我们提出了一种新的训练策略,允许模型从数据的顺序性中学习,同时保持高效的并行处理。第三,我们对该框架的不同组成部分进行了详细的消融研究,并分析了速度和精度之间的权衡。最后,我们展示了最先进的性能在多个任务和数据集在转导和感应设置,同时比以前的方法快得多。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“TDGN” 可以获取图神经网络如何时序化?看Twitter最新《动态图深度学习:时序图网络TGN》研究,附论文与PPT下载专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/106714
 
238 次点击