社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

基于深度学习的图异常检测技术综述

专知 • 5 年前 • 391 次点击  

【导读】最新基于深度学习的图异常检测技术综述论文,值的关注!



摘要: 图异常检测旨在大图或海量图数据库中寻找“陌生”或“不寻常”模式,具有广泛的应用场景.深度学习可以从数据中学习隐含的规律,在提取数据中潜在复杂模式方面表现出优越的性能. 近年来随着基于深度神经网络的图表示学习取得显著进展,如何利用深度学习方法进行图异常检测引起了学术界和产业界的广泛关注. 尽管最近一系列研究从图的角度对异常检测技术进行了调研,但是缺少对深度学习技术下的图异常检测技术的关注. 首先给出了静态图和动态图上各类常见的异常定义,然后调研了基于深度神经网络的图表示学习方法,接着从静态图和动态图的角度出发,梳理了基于深度学习的图异常检测的研究现状,并总结了图异常检测的应用场景和相关数据集,最后讨论了图异常检测技术目前面临的挑战和未来的研究方向.


https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200685


图作为一种通用的数据结构,被广泛用于表示 复杂的结构化数据.相对于其他数据结构,它能更好 地存储和表达实体及其联系.现实世界中,图在社交 网络分析、Web网络分析、交通路网优化、知识图谱 构建等领域均有广泛的应用.针对这些语义丰富、样 式多样、规模庞大的图数据,如何快速、准确地检测 其中的异常引起了学术界和产业界的广泛关注.图 异常检测是指在一个大图或海量图数据库中寻找包 含“陌生”或者“不寻常”模式的结构(包括节点、边或 者子图),具有广泛的应用场景,例如英特网中的恶 意攻击、社交网络中的突发事件检测、电子商务中的 水军发现等.相较于传统的异常检测方法,基于图的 异常检测由于图具有强大的表达能力,不仅可以将 复杂的数据加以直观的呈现,同时也能将数据中隐 含的相关性融入到异常检测过程中.


面向图的异常检测工作最早发表于2003年[1], 现有工作大致可分为基于静态图和基于动态图 2 类.在基于静态图的异常检测工作中,一类方法利用 ego网络[2]或者基于团体[3]研究问题;一类方法基 于图的结构信息进行异常检测[4G6],也有一些工作基 于子空间选择,试图在节点特征的子空间中发现异 常[7G9].还有一些工作通过概率、统计方法获取图的 统计信息进行异常检测[10G13].尽管这些工作在异常 检测上取得了不错的进展,但这些方法如利用ego 网络的方法,由于处理图数据,必须考虑节点之间的 交互,在图较为稀疏时难以实现较好的效果;或者如 子空间选择和统计方法,由于浅层学习机制难以综 合利用节点的属性和结构信息.在基于动态图的异 常检测方面,同样有一些工作基于团体[14G15]、基于结 构[6,16]、或基于概率统计[17G19]进行异常检测.另外一 类典型的方法是首先获取图的概要,然后通过聚类 和异常 检 测 来 确 定 概 要 中 的 异 常,例 如 文 献 [20G 21],但是这些方法获得的概要无法保留重要的结构 信息,比如邻接节点的信息.现有的基于动态图的异 常检测方法大多依赖于启发式规则,通常只是简单 地考虑某一类特征;虽然有部分方法[22G23]考虑了内 容甚至时间因素,但并不灵活,导致其应用局限于特 定的场景.


近年来,深度学习成为人工智能和机器学习中极为重要的部分,在提取数据中潜在复杂模式方面表现出优越的性能, 并在音频、图像和自然语言处理等领域得到了广泛应用.深度学习方法能够合理处 理复杂的属性信息,并且可以从数据中学习隐含的 规律;此外,通过神经网络对图进行嵌入不仅可以很 好地保留信息[24G26],还可以很好地处理节点或边的 属性,同时保留结构信息,进而方便检查隐空间中节 点或边表示的相似性.近年来随着对图进行嵌入表 示取得显著进展,如何利用深度学习方法进行图异 常检测在过去几年中吸引了广泛关注.基于深度学 习的图异常检测方法通常使用图的嵌入表示方法先 将图表示为隐空间中的向量,然后使用该向量重构 图从而剔除异常信息的影响,最后通过重构误差进 行异常检测. 


关于异常和离群点检测,已经存在非常全面的 综述类文章,例如Zimek等人[27]重点介绍了关于高 维离群值检测,Schubert等人[28]讨论了局部离群值 检测技术.但是,这些文章通常关注多维数据实例的 点,没有或者不是直接地关注基于图的检测技术.尽管文献[29]从图的角度对异常检测技术进行了调 研,但是缺少对深度学习技术下的图异常检测技术 的关注.与以往关于异常检测的综述不同,本文专注 于大图或海量图数据库中的异常检测,并对基于深 度学习的图异常检测技术进行全面地梳理和总结, 是最早聚焦基于深度学习的图异常检测技术方面的研究综述.


本文首先对图上的异常定义做了全面的分析, 然后详细介绍了基于深度神经网络的图表示学习方法, 接着从静态图和动态图的角度出发,对现有基于深度学习的图异常检测方法进行系统地总结和归 类,并讨论相关方法的局限性.接着简单介绍图异常 检测技术的实际应用场景和相关的数据集,最后讨论基于深度学习的图异常检测研究面临的挑战及未 来可行的研究方向.本文期望通过对目前基于深度 学习的图异常检测研究现状的梳理,为后续研究提 供可借鉴的思路.




专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DLGA” 就可以获取基于深度学习的图异常检测技术综述》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/117820