社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  aigc

蚂蚁集团天筭实验室 | GenVideo:首个百万级AIGC视频检测数据集

中国科学信息科学 • 5 月前 • 295 次点击  

#人工智能,#计算机视觉,#视频生成,#内容安全,#深度伪造检测

引用本文: Chen H X, Hong Y, Huang Z Z, et al. DeMamba: AI-generated video detection on million-scale GenVideo benchmark. Sci China Inf Sci, 2026, 69(6): 162103, https://doi.org/10.1007/s11432-024-4894-0

研究意义

近年来,AI视频生成技术发展非常快。现在,只需要输入一段文字或一张图片,模型就可以自动生成看起来非常逼真的视频。像 Sora、Gen2 等模型的出现,大大降低了视频创作门槛,也让内容生产变得更加高效。但与此同时,这类技术也带来了新的风险。AI生成视频如果被用于伪造新闻、制造谣言、误导公众,可能在社交媒体上快速传播,进而影响社会舆论、公共信任甚至个人声誉。因此,如何准确识别“这个视频到底是真实拍摄的,还是AI生成的”,已经成为人工智能安全和数字内容治理中的一个重要问题。

不过,要训练一个真正“靠谱”的AI视频检测器并不容易。一个关键难点在于:现有公开数据集规模较小、覆盖的视频生成模型有限,难以反映真实世界中复杂多样的AI视频生成场景。尤其是当新的生成模型不断出现、视频在传播过程中还会被压缩、模糊、裁剪时,已有检测方法往往容易失效。

针对这一问题,本文构建了首个百万量级的AI生成视频检测数据集,并提出了一种能够更好捕捉视频细节异常的新方法,为AI生成视频识别提供了更接近真实应用场景的研究基础。

本文工作

为推动AI生成视频检测研究,本文主要完成了两个方面的工作:一是建设大规模高质量数据集,二是提出更有效的视频检测方法。
1. 构建首个百万量级AI生成视频检测数据集 GenVideo
本文提出了 GenVideo 数据集,这是目前首个面向AI生成视频检测的百万级基准数据集。该数据集具有以下特点:
  • 规模大:共包含超过 230万条视频,其中包括 108万余条AI生成视频 和 121万余条真实视频;
  • 来源广:覆盖 20种视频生成方法,包括文本生成视频(Text-to-Video)和图像生成视频(Image-to-Video)等多种方式;
  • 内容丰富:既包含人物,也包含风景、建筑、动物、物体等多类场景,更接近真实网络传播环境。

相比以往数据集主要聚焦人脸深度伪造,GenVideo更关注通用场景下的AI生成视频检测问题,更适合研究现实世界中的“视频打假”任务。
2. 设计更符合实际应用的评测任务
为了更真实地衡量检测器的能力,本文设计了两类评测任务:
  • 跨生成器检测任务:训练时只看到一部分生成模型产生的视频,测试时要识别来自“未见过的新模型”的AI视频,用于评估模型的泛化能力;
  • 退化视频检测任务:对视频加入压缩、模糊、裁剪、水印等常见传播损伤,检验检测器在复杂传播环境下的鲁棒性。

这两类任务都更贴近真实应用场景,因为在现实中,检测系统往往无法提前知道视频来自哪个生成模型,而且视频内容常常经过平台压缩或二次编辑。
3. 提出即插即用的视频检测模块DeMamba
在方法上,本文提出了一个新的检测模块——DeMamba(Detail Mamba)。它的核心思想是:AI生成视频虽然整体上看起来逼真,但在局部空间细节和跨帧时间连续性上,往往仍会留下不自然的“痕迹”。
例如:
  • 某些局部纹理细节不协调;
  • 不同帧之间的运动变化不够自然;
  • 画面频率特征与真实视频存在差异。

DeMamba正是围绕这些“细微异常”展开建模。它能够同时关注视频中的空间细节异常和时间连续性异常,从而更有效地区分真实视频与AI生成视频。此外,DeMamba具有较强的实用性,它是一个即插即用模块,可以方便地接入现有的视频特征提取模型中,提升原有检测器的性能,而不需要完全重建整套系统。
本文的创新点如下:
提出首个百万级AI生成视频检测数据集GenVideo,显著提升了数据规模、生成方法覆盖范围和内容多样性;
  • 设计跨生成器检测与退化视频检测两类任务,使评测更加贴近真实应用环境;
  • 提出DeMamba模块,能够有效捕捉AI生成视频在空间与时间维度上的局部不一致性;
  • 验证了DeMamba的即插即用能力,可与现有检测模型结合并显著提升泛化性和鲁棒性。

实验结果

本文在GenVideo数据集上,对多种现有图像级和视频级检测方法进行了系统评测,包括 F3Net、NPR、STIL、VideoMAE、VideoMamba、XCLIP等代表性模型。
实验结果表明:
1. DeMamba在跨生成器检测任务中表现更优
在“训练模型未见过的生成器”测试中,DeMamba能够更准确地识别来自新型AI视频生成模型的视频,说明它具有更强的泛化能力。例如,将DeMamba接入XCLIP后,模型在多对多跨生成器检测任务中的平均性能显著提升:Recall 提升约 11.26%、F1 提升约 17.72%、AP 提升约 12.02%。这说明DeMamba能够帮助模型更好地适应不断变化的生成技术。
2. 在视频退化场景下具有更强鲁棒性
研究团队还模拟了视频在真实传播中常见的多种退化情况,包括:H.264压缩、JPEG压缩、翻转、随机裁剪、文本水印、图像水印、高斯模糊、颜色变换。结果显示,DeMamba在大多数退化条件下都保持了较强的检测性能,整体鲁棒性优于多种基线方法。这意味着即使视频经过平台压缩、编辑加工,模型依然能够较稳定地识别AI生成内容。
3. 大规模数据集显著提升检测效果
论文进一步分析发现:随着训练数据规模增加、生成器种类增多,检测模型的性能持续提升。这也从实验上证明了,建设大规模、多样化数据集对于提升AI生成视频检测能力至关重要。
相关阅读
北大黄铁军团队 | SpikeCV:开启连续计算机视觉的时代
华中科技大学桑农团队 | UniAnimate: 可控视频生成新SOTA,给定参考人物图像即可定制高质量跳舞视频
北航梁晓辉团队 | 多模态先验增强的文本驱动人-物交互运动生成(有视频)
上海交通大学邓志杰团队 | 基于控制网无需训练的文本驱动长视频编辑
西安电子科技大学高新波团队 | 大模型时代如何鉴真伪:多模态深度伪造检测新进展





Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/197113