介绍了预测方法,我们再来看基于信息的方法。优良的表征应该能将输入中的大量信息保存下来。受此启发,Vincent et al. 在 2010 年提出使用自动编码器来进行表征学习,这意味着隐藏表征应该可以解码到与其输入一样。但自动编码器资源消耗高,既需要编码,也需要解码,而在图领域,如何解码图仍还是一个有待解决的问题。那么还有其它可以直接衡量表征与输入之间的信息的方法吗?有的,那就是互信息(mutual information)。给定两个随机变量,互信息的定义是它们的边界属性和关节属性的积之间的 KL 散度,这又可以进一步推导为熵减去条件熵。互信息为什么可以计算信息关系?我们可以这样看,如果 X 和 Y 互相独立,且 p(X)p(Y)=p(X,Y),则互信息等于 0,这表明 X 和 Y 不相关。这是合理的,因为 X 和 Y 互相独立。如果条件熵为 0,则 X 和 Y 确定是相关的,则互信息输出为最大值。Hjelm et al. 2019 证明执行自动编码是计算互信息的重建误差的一个下限。计算互信息是很困难的,近些年方才出现一些可行的方法。这里有三种典型的方法(MINE、JSD MI 和 infoNCE MI),其基本思想是学习一个神经网络来最大化互信息的一个替代函数。详情请参阅各论文。回到图,我们能否使用互信息来实现图的自监督学习?DGI 是这方面首个研究成果,其目标设定为最大化输入的节点特征 X 和邻接矩阵 A 与输出表征 h_i 之间的互信息。DGI 使用了 JSD 估计器,其中包含正例项和负例项。但直接计算互信息的难度不小,我们可能需要另一个 GNN 作为互信息的替代。DGI 使用了表征的读出 s 来替代输入。如下图所示,原图有两个输入,其中错误的图是负例,然后我们用同样的 GNN 得到它们的输出,之后再执行读出函数得到 s。s 可以替代原目标中的 X,A,得到替代目标函数。DGI 证明这种操作不会导致信息损失,其还证明这种替换方式实际上就等同于真正的互信息。不过 DGI 仍还有一些问题。第一是它需要读出函数来计算互信息,而且这个读出函数需要是单射式的,这并不容易保证。另外它还需要构建错误的图来得到负例,因此效率不高。而在实验中,DGI 需要为不同的任务使用不同的编码器,这并不实用。针对这些问题,清华大学、西安交通大学与腾讯 AI Lab合作提出了 GMI,其基本思想是不使用读出函数和错误样本,而是直接计算互信息。在 GMI 中,首先分两部分定义互信息。一是特征互信息,仅度量节点特征和表征之间的信息关系。二是拓扑互信息,这是预测的边和原始邻接矩阵之间的互信息。很显然,这一方法能同时考虑到边和特征,而无需读出函数或错误样本。更重要的是,特征互信息还能进一步分解。我们证明:特征互信息可以分解为局部互信息的加权和。而每个局部互信息计算的是每个节点及其表征之间的互信息。权重取决于不同的情况,将它们设置为与预测的边一样也不错。然后我们可以使用 JSD 互信息估计器来计算特征互信息和边互信息。在节点分类任务上的实验结果证明 GMI 有更优的表现,相关的代码也已经发布:https://github.com/zpeng27/GMI至于用于图分类的基于信息的方法,可参看 ICLR 2020 论文《InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization》,这里不再过多赘述。
三、图神经网络的应用进展
图神经网络作为一种有效的深度学习工具,已经在分子属性预测、生物学分析、金融等许多领域得到了应用。这里以腾讯 AI Lab 实现的在社交网络和医疗影像领域的应用为例,介绍图神经网络的应用进展。
1、用于社交网络的 GNN
首先来看一篇 WWW 2019 论文《Semi-supervised graph classification: A hierarchical graph perspective》,其中腾讯 AI Lab 提出了使用分层图实现半监督图分类的方法。分层图是指一组通过边互相连接在一起的图实例,如图所示:在许多现实应用中,很多数据都可以建模成分层图的形式,比如具有分组结构的社交网络和文档集合(比如具有引用关系的graph-of-words)。如上所示,假设我们有一个「用户-分组」分层图,我们知道其中部分标签,我们可以怎样预测其它组的标签?如果仅考虑组之间的联系,那么这个问题就又回到了节点分类。但是,可以看到每一组都有自己的用户图,忽略这样的信息并不合适。为了在用户和分组层面上利用图信息,我们面临着这样的难题:如何将任意大小的图表征为固定长度的向量?如何整合实例层面和分层层面的信息?首先来看第一个问题。图表征与节点表征在不同的层面上;在节点层面上图 G 会被投射到大小为 n×v 的隐藏空间中;而在图层面上图 G 会被投射成大小为 v 的隐藏向量。因此,为了将节点层面的空间转换成图层面的向量,这里引入了自注意力图嵌入(SGAE)首先,将单个图通过一个两层 GCN,得到节点层面的表征 H,其大小为 n×v,然后根据上图中的 S 计算自注意力。在经过一个 softmax 函数之后,会得到一个具有 r 个头的多头自注意分数,其大小为 r×n。然后,如果我们将这些分数应用到节点层面的表征,我们就会得到大小固定为 r×v 的矩阵。SAGE 有三大优势:1)其大小因自注意力而保持不变,2)因为 GCN 平滑而具有排列不变性,3)因为自注意力而能使用节点重要度。对于第二个问题:如何整合实例层面和分层层面的信息?这里实例层面是基于 SAGE 的图层面学习,分层层面模型是节点层面的学习。我们使用了特征共享来连接 SAGE 的输出和 GCN 的输入。然后又引入一种新的分歧损失(disagreement loss)来最小化实例分类器和分层分类器之间的不一致情况。另外,我们还使用了主动学习来解决样本数量少的问题。我们使用了分歧损失来为外部标注选择实例。有关这两种算法 SEAL-AI 和 SEAL-CI 的详情以及相关实验结果请查阅论文。接下来看腾讯 AI Lab 另一项被 AAAI 2020 接收的研究《Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks》,提出了一种通过双向图卷积网络实现社交网络谣言检测的新思路。谣言可算是当今社会面临的一大顽疾。这篇论文提出通过关注和转发关系来检测社交媒体上的谣言。不管是谣言还是新闻,它们的传播模式都是树结构的。但通常来说,谣言的传播有两个属性。第一如下图 b 所示,其会沿一条关系链进行很深的传播。第二如图 c,谣言在社交媒体上传播时散布很宽。举个例子,一个 Twitter 用户可能有大量关注者。为了同时获取谣言传播的这两种属性,我们设计了一种基于 GCN 的新模型。这个用于谣言检测的双向 GCN 包含 4 个组件:1)两个不同的有向图,用于描述谣言的传播和扩散度;2)使用二层 GCN 来计算高层面的节点表征;GCN 不仅能学习特征信息,还能学习谣言的传播拓扑结构;3)经过观察,根节点通常就已经包含了谣言或新闻的主要内容,而关注者通常只是不带任何内容进行转发,因此通过将根特征连接到树中的每个节点,可以增强每层的隐藏特征;4)分别根据节点表征对传播和扩散度的两个表征进行池化处理。这两个表征再被聚合到一起得到最终结果。我们在 Twitter15、Twitter16、Weibo 三个常用基准上的实验研究对这一方法的效果进行验证,结果表明新方法具有显著更优的表现。此外,我们还评估了谣言的早期侦测,此时仅给出谣言树上非常有限的节点并且还设置了一个侦测截止时间,结果表明基于图的方法非常适用于早期发现谣言。
2、用于医疗影像的 GNN
医疗影像也是 GNN 的一个重要应用场景,腾讯 AI Lab 近两年在这一领域取得了一些重要的研究成果。首先来看腾讯 AI Lab 的 MICCAI 2018 论文《Graph CNN for Survival Analysis on Whole Slide Pathological Images》,其中提出使用图卷积网络基于全切片病理图像进行生存分析。生存分析的目标是预测特定事件发生的风险,这类事件包括器官衰竭、药物不良反应和死亡。有效的分析结果具有重要的临床应用价值。但实际操作时却面临着许多困难。首先,全切片病理图像(WSI)分析是一个需要大量计算的过程,因为单张 WSI 的数据量就超过 0.5 GB,而且其中包含数百万个细胞,还涉及局部特征和全局特征,因此非常复杂。另外,如何将 WSI 的拓扑特征用于生存分析也还是一个有待解决的问题。为此,我们提出将 WSI 建模成图,然后开发了一种图卷积神经网络(Graph CNN),其使用了注意力机制,可通过提供 WSI 的最优图表征来实现更好的生存分析。实验结果表明,这种新方法优于之前的其它方法。这一部分同时也介绍了近年来GNN在医疗图像上的其他工作:在IPMI2019发表的《Graph Convolutional Nets for Tool Presence Detection in Surgical Videos》中,作者提出使用 GCN 来检测手术视频中的工具,这是自动手术视频内容分析的核心问题之一,可用于手术器材使用评估和手术报告自动生成等应用。这个模型使用了 GCN 沿时间维度通过考虑连续视频帧之间的关系来学习更好的特征。而在MICCAI 2020发表的论文《Graph Attention Multi-instance Learning for Accurate Colorectal Cancer Staging》中,作者提出使用图注意力多实例学习来准确判断结直肠癌是处于早期、中期还是晚期。
总结和展望
在这次课程个「图深度学习:基础、进展和应用」中,我们介绍了图神经网络的发展历史、包括图神经网络的表达能力、深度、大规模扩展、自监督/无监督学习等方面的研究进展,也简要介绍了腾讯 AI Lab 在图神经网络的社交网络和医疗影像应用方面的一些初步成果。图深度学习领域仍处于发展之中,有很多有趣的问题等待解决,例如逆向图识别(IGI),即我们在图分类问题中,是否可以根据图的标签来推断每个节点的标签?子图识别,即如何在图中找到关键的子图同时还有图与多示例学习问题的结合形成多图示例学习问题,以及在图上进行攻击与防御相关的图深度学习鲁棒性的研究。最后,层次图也是一个热门的研究方向。图神经网络必将在人工智能领域未来的研究和应用中扮演更重要的角色。