Py学习  »  aigc

CVPR 2026 | 数据越多越分不清真假?中科院新作破解AIGC检测悖论

PaperWeekly • 4 月前 • 205 次点击  

数据翻倍性能腰斩?GAPL 用原型学习以 90.4% 准确率实现破局。


AIGC 技术快速演进的背景下,图像生成模型已经从早期的 GAN,发展到 Diffusion ,再到近年来兴起的 Flow Matching 等新范式。


模型结构不断升级,生成质量持续提升,合成图像在纹理细节、光照一致性乃至整体语义上都达到了极高的逼真度,使得单纯依靠肉眼已难以可靠地区分真伪。


在这样的背景下,检测模型如何获得跨生成器的泛化能力,成为一个核心问题。


一个看似自然的思路是:为了追求通用性,应当引入更多来源的生成数据进行训练。直觉上,覆盖的生成器越多,模型应当学到越全面的伪造模式,从而提升泛化能力。


然而,事实并非如此简单。


我们发现了一个奇特的先获益再冲突Benefit-then-Conflict)现象:当训练数据的来源从 种增加到 种时,模型还能从多样性中受益;但当数据源继续增加,涵盖更多种类的生成器时,模型的性能不升反降,甚至彻底分不清真伪了。



 图1.  “先获益再冲突”(Benefit-then-Conflict)现象的可视化展示:随着新的数据源的加入,模型先受益于新增的知识,但越来越多的数据加入后,决策边界变得杂乱且冲突,导致分类的错误。以及我们展示提出的GAPL方法,在特征空间中插入原型锚点用以缓解该现象。


为了解决这一难题,我们深入剖析了合成图像的“异质性”本质,提出了一种基于原型学习(Prototype Learning)的通用检测框架 GAPL


在涵盖 54 个子集的测试中,GAPL 取得了 90.4% 的平均准确率,成功覆盖了市面上几乎所有主流生成模型。




论文链接:

https://arxiv.org/abs/2512.12982

GitHub链接:

https://github.com/UltraCapture/GAPL

Hugging Face链接:

https://huggingface.co/AbyssLumine/GAPL


为什么模型会消化不良?主流范式的预训练陷阱

为了探究“数据越多效果越差”的根源,我们做了一组预实验:固定总图像数量,测量真实图像和合成图像在特征空间中的方差(Variance)。


 图2. 控制相同数量的图像,不同数量的生成器的统计:左图,图像特征的“方差”,其中蓝色为生成图像,红色为真实图像。右图:用这些图像训练出来的检测器检测性能,其中柱状图为准确率,折线为“线性可分性”,E为端到端训练的检测器,F为冻结编码器的检测器。


    结果揭示了两个关键问题:


    第一,合成图像的异质性在作祟。不同的生成架构留下的“指纹”截然不同。GAN 留下的可能是棋盘格效应,Diffusion 留下的可能是高频噪声异常。


    当我们将成千上万种截然不同的“指纹”一股脑塞给模型时,伪造图像的特征方差呈现爆炸式增长,真伪边界变得极其模糊。


     图3. 真实-伪造图像表征在预训练的编码器下的T-SNE可视化,预训练编码器能够在单源训练表现出的泛化性,源于编码器本身对真实与合成图像直接的感知差异,而这种差异在多源训练中消失了,体现为重叠的表征。

    第二,主流的预训练范式失效了。这种先获益再冲突的现象,集中爆发在当前最主流的基于冻结预训练编码器的检测器中。


    它可以利用预训练阶段所积累的统计偏置与隐含结构,在低样本环境下挖掘出潜在的伪造信息,从而表现出优异的泛化能力。


    然而,当生成模型规模大幅扩展,尤其是生成器种类急剧增加时,问题开始出现。


    一个冻结的编码器,其特征分布已固化。面对来自不同生成机制的高度异质化信号,它无法自适应地重塑底层表征结构,也无法吸收新的分布偏移。


    结果是,大规模多源数据所带来的特征差异被直接叠加在一个固定的嵌入空间中,导致根本学不到良好的判别边界。


    我们在实验中对比了两种范式:端到端可训练分类器、冻结编码器 + 分类头的两阶段分类器


    我们同时测量了:Fisher 判别比(类间/类内散度比)、以及分类准确率,实验结果揭示出一个有趣却深刻的现象:


    在生成器数量较少时,端到端模型表现出极强的过拟合趋势——Fisher 判别比可达到数千,特征被极度拉开。但随着生成器种类逐渐增加,端到端模型的判别结构更加稳定,分类性能持续提升。


    相反,冻结编码器范式在小规模数据下表现良好,但在多源扩展后判别比下降,准确率同步衰减。


    结论很明确:要打破这个僵局,不能迷信冻结的预训练参数。我们必须约束伪造图像的方差,同时还需要部分解冻编码器,主动将合成器的“原型信息”注入其中,在保持有用的集合先验的同时赋予编码器适应新痕迹的能力。



    GAPL:以“三生万物”的原型学习

    既要覆盖海量生成器,又要约束方差,我们的解决方案是:寻找“原型”。


    我们认为,虽然生成器成千上万,但它们之间总有相似的底层模式。于是,我们没有盲目地学习所有数据,而是精选了 3 种最具代表性的生成器作为 “原型”


    1. ProGAN:代表经典的生成对抗网络家族;


    2. Stable Diffusion (SD):代表主流的潜在扩散模型;


    3. Midjourney:代表高质量的商用黑盒 API。


    在第一阶段,我们冻结图像骨干网络,并在其上添加一个轻量级的 MLP 映射头,将原始特征空间映射到一个专用于真伪判别的嵌入空间。


    在这个真伪空间中,我们对选定的三类代表性生成器样本进行主成分分析(PCA),提取其主要成分,构建出一个稳定的“生成原型子空间”。这些原型并非单一向量,而是刻画各生成范式主要变异方向的低维结构基。


    在第二阶段,我们解冻骨干网络,使底层特征能够随多源数据进行自适应调整。同时,引入基于 Cross-Attention 的原型对齐机制,使图像特征在真伪嵌入空间中与对应原型子空间进行结构性交互。


    这一机制通过注意力权重,引导特征在多个原型方向之间进行分解与组合,从而抑制由异质生成机制带来的无序方差扩张,并且保留跨生成范式的共享结构。


     图4. GAPL的两阶段学习模型结构


    换句话说,我们并不是让所有样本收缩到某一个中心,而是通过有限个结构原型,对多源生成信号进行“有组织的吸收”。


    这种两阶段结构,使模型既能利用预训练先验建立初始判别空间,又能在多源扩展下重塑底层表征,实现结构化泛化。



    实验结果:通才,亦是专才

    我们在包含 6 个测试基准、54 个子集的庞大测试集上进行了验证,结果令人振奋:




    全面领先:GAPL 取得了平均 90.4% 的准确率,涵盖了从早期 GAN 到最新 Flow Matching 的各类模型。


    比专家更懂泛化:对比那些专攻某一种生成器的“单一源”专家模型,GAPL 在它们擅长的领域表现相当,而在它们未见过的领域则实现了超越。


    比通才更懂兼容:对比现有的“多源”检测器,GAPL 的通用性能显著更高。




    同时为了确保公平,我们尝试让现有的 SOTA 检测器也使用我们的“多源大规模数据”进行训练。


    结果发现,对比他们原来使用的这些模型的性能不升反降,效果甚至不如通用的视觉骨干网络。


    这说明,许多现有方法在设计时其实利用了某种“单一先验”,这种先验在面对单一数据源时有效,但在面对复杂多源数据时就会彻底失效。


    而 GAPL 的设计,正是为了打破这种局限,为 AIGC 检测的“通用大一统”指明了方向。



    结语

    AIGC 图像检测正在进入一个新的阶段:生成器不再是单一范式,而是高度多样、快速演化的生态系统。在这种环境下,简单堆叠数据不再奏效。


    我们发现并揭示了 AIGC 检测的“数据悖论”,并提出了基于原型结构化约束的解决方案——GAPL。


    或许,未来的通用检测器不再依赖“更多数据”,而是依赖更清晰的结构假设



    更多阅读



    #投 稿 通 道#

     让你的文字被更多人看到 



    如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


    总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


    PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


    📝 稿件基本要求:

    • 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

    • 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

    • PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


    📬 投稿通道:

    • 投稿邮箱:hr@paperweekly.site 

    • 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

    • 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


    △长按添加PaperWeekly小编



    🔍


    现在,在「知乎」也能找到我们了

    进入知乎首页搜索「PaperWeekly」

    点击「关注」订阅我们的专栏吧


    ·


    Python社区是高质量的Python/Django开发社区
    本文地址:http://www.python88.com/topic/193219