AIGC 合规大考：企业如何低成本搞定全场景安全？

AI生成内容（AIGC）的飞速发展，在赋能各行各业创新的同时，也带来了不容忽视的安全隐患。深度伪造技术被不法分子滥用，用于电信诈骗、舆情操控、身份冒用等场景，严重威胁社会安全与公众权益。安全牛特别邀请到国投智能信息科技股份有限公司人工智能研究院院长赵建强博士，围绕AIGC安全治理、核心技术路径、产品落地及行业应用等关键话题，展开深度对话。

阅读要点：

• 全行业 AIGC 服务需合规备案，生成内容必做显隐双标识。

• 国投智能以大小模型协同，应对 AIGC 技术迭代攻防。

• 分层解决方案，覆盖个人到大型企业全场景、降本合规。

【安全牛】：请您简单介绍下国内AI生成合成内容安全的整体背景，及目前我们取得的一些成果？

【国投智能赵院长】：

近年来生成式AI快速普及，在赋能创作、提升效率的同时，也带来AI换脸、虚假信息、侵权滥用等风险。全球都面临技术滥用挑战，我国自2023年起加速构建治理体系，先后出台《互联网信息服务深度合成管理规定》《生成式AI服务管理暂行办法》，2025年9月又落地强制标准《人工智能生成合成内容标识办法》及配套强制标准GB45438-2025，形成“法规+标准+技术”的全链条治理框架。

其落地成果总体来看可体现在以下三个方面：

• 首先，在国家层面，目前各部委各司其责，协同构建了人工智能安全治理相关法规、办法、标准体系，为生成式人工智能技术发展提供了防护网，保护罩，促进人工智能健康可持续发展，也为人工智能安全治理提供了制度依据，指导各业务主体对AI合成生成内容全生命周期的监管。

  
  

• 其次，行业方面，国内头部的互联网平台都开始落实显式+隐式双重标识体系，推动AI生成内容的规范化管理。

  
  

• 第三，监管层面，我们看到平台与监管部门也在协同发力，通过治理专项、辟谣平台等方式不断披露AI谣言、AI造假等违法违规案件，以有效压缩虚假信息传播空间。

【安全牛】：企业部署AI生成合成内容安全能力的主要驱动因素是什么，不同行业的需求差异又体现在哪些方面？

【国投智能赵院长】：

从国内整体环境来看，AI生成合成内容安全需求以合规驱动为主，这也是最核心的驱动力。因为所有在国内上线的AIGC服务，都必须完成两项关键备案，未完成备案的情况下，不得对外提供任何服务。

• 第一项是《互联网信息服务深度合成管理规定》要求深度合成算法备案。这项规定出台时间早于生成式AI管理办法，是国内最早针对深度合成技术的专项监管要求。

  
  

• 第二项是《生成式人工智能服务管理暂行办法》要求。明确规定模型上线前必须通过国家网信办的安全性测评，并取得备案号，这是AIGC服务合法合规运营的核心前提。

在我国强监管环境下，企业的业务创新必须建立在合规的基础上，因此多数企业部署内容安全检测能力，首要目的就是满足监管要求，规避合规风险。

当然，头部互联网厂商也存在一定的业务驱动需求，比如OpenAI曾计划推出成人内容模型以拓展商业边界，这也说明市场端对AIGC技术的多元化应用需求正在凸显，但合规仍是前提。

从行业分布来看，内容安全检测需求已经从最初的公安、司法、网信等政务领域，逐步拓展到运营商、金融、互联网大厂等各类行业，不同行业的核心诉求差异非常明显：

• 一是运营商，反诈是其内容安全的核心诉求之一。现在有不法分子利用AIGC技术绕过线上身份核验，比如开卡、复机等场景，进而实施电信诈骗，给用户和运营商带来巨大损失。这需要在运营商的在线核验系统中集成伪造检测能力，精准识别AI生成的视频，防止其通过生物特征认证，从源头遏制诈骗行为。

  
  

• 二是金融机构，其驱动因素主要是业务风险防控和监管要求的双重叠加。攻击者利用深度伪造技术绕过大额转账时的人脸识别验证，可能导致资金被盗，引发金融风险。目前，中国人民银行于2024年下发〔2024〕915号文《关于利用AI换脸技术突破金融支付平台人脸认证机制实施资金盗刷的风险通报》，明确要求金融机构提升对深度伪造攻击的防御能力，进一步推动了金融行业对AIGC内容检测的需求。

  
  

• 三是互联网大厂，内容安全的核心压力来自合规。根据2024年9月1日施行的《生成式人工智能内容标识办法》，内容平台必须对AI生成内容进行显式或隐式双重标识，既要让用户清晰知晓内容为AI生成，也要在元数据中嵌入不可见水印，便于监管追溯，这也是互联网平台合规运营的核心要求。

【安全牛】：但在现实网络环境中，很多企业大量使用AI生成内容，却并未按要求打标，还在广泛传播。您如何看待这种违规现象？不同类型的AI生成内容，在监管上是否存在差异？

【国投智能赵院长】：

首先要明确一点，AI生成合成内容的标识义务具有普适性，所有服务提供者，无论所处行业、内容性质如何，都必须履行显式或隐式标识的责任，这是国家标准《生成式人工智能内容标识办法》的明确要求，不分行业、不区别内容是正面还是负面。简单来说，只要使用AI模型对图像、视频、音频、文本进行生成或编辑，就必须标注“AI生成”相关标识。比如现在大家常用的文本类大模型，像豆包、千问等，其输出现已普遍添加来源标识；同样音视频类AI生成内容，也需要在元数据中嵌入数字水印，便于后续监管和溯源。

其次，从内容类型来看，AI生成内容并没有放松内容审查的要求，传统内容安全的监管规则，对AI生成内容同样适用。比如色情、涉政、危害未成年人等违规内容，无论是否为AI生成，都被明确禁止传播。也就是说，国家原有内容安全的法规要求对AI生成内容仍然有效。并且在这些内容合规的基础上，新增了“必须标识”的义务，这是大家需要明确的核心认知。

当然，实际落地过程中也面临一些挑战。比如平台不仅需要标记自身模型生成的内容，还需要检测并标记用户上传但未标识的AI生成内容，这会给平台带来巨大的算力和成本压力，尤其是对于内容体量巨大的互联网平台而言，如何平衡检测效率、成本与用户体验，是当前行业面临的共同难题。

【安全牛】：相对传统内容安全，您认为AI生成合成内容检测的主要技术挑战有哪些？国投智能的具体技术路径又是怎样的？

【国投智能赵院长】：

AI生成合成内容检测最大的挑战，在于现代AIGC技术生成的内容逼真度极高，在视觉和听觉上几乎可以以假乱真，人类肉眼和听觉已经无法有效辨别真伪。因此必须依赖AI模型进行自动化检测，核心思路就是“用AI识别AI”。工程实现上，通常采用大小模型协同的策略，因为不同场景对检测速度、精度和算力的要求不同。小模型速度快、延迟低，适合端侧（手机等移动设备）等算力受限、实时检测场景；大模型则在可解释性和泛化能力上更具优势，能够应对更多复杂的生成场景；在服务端算力充足场景下，就可以结合小模型与大模型进行联合推理，兼顾速度与精度。

除此之外，对我们而言，检测能力的研发还需要兼顾技术先进性与可持续性。因为AIGC模型的更新速度极快，比如Stable Diffusion、Seedance、Nano Banana等主流生成模型，版本迭代非常频繁，这就要求我们的检测模型必须同步升级，并保持高强度的研发投入。如果稍有懈怠，对新模型生成的内容检出率就会迅速下降，整个行业其实处于一种“攻防竞赛”的态势，只有持续迭代，才能确保检测能力始终可用。

除“用AI识别AI”，AI生成合成内容的检测逻辑还包括：

（1）利用物理世界痕迹缺失的特征。真实拍摄的图像，会包含成像设备特有的物理痕迹，比如CMOS感光元件的噪声模式，而AI生成的图像没有真实的光学采集过程，因此会缺乏这类物理特征。我们的检测模型，就是通过训练，精准寻找这类细微差异，比如图像的纹理一致性、光照逻辑是否合理，以及生物结构是否正常（比如AI生成的人脸可能出现手指数量异常、面部比例失调等问题）。

（2）提升检测结果的可解释性。当前AI模型的一大痛点是可解释性弱，用户很难理解模型为什么判定某一内容为AI生成。我们正在探索通过热力图等方式，可视化算法关注的区域，清晰地标注出可疑区域，辅助用户判断篡改位置，让检测结果更具说服力。

（3）针对传统PS类内容，重点检测修改痕迹。像Photoshop、美图秀秀等工具，在编辑图像时，往往会在图像元数据中留下修改痕迹。我们会结合元数据分析与像素级特征检测，判定内容是否经过二次编辑，实现对“传统篡改+AI生成”双重技术图像的检测。

检测结果会对AI生成内容给出概率评分，比如“85%由AI生成”，同时对伪造图像标注具体的可疑区域，提供详细的分析报告，帮助用户更好地判断内容真伪，满足不同场景的使用需求。

【安全牛】：当前企业落地AI生成合成内容安全体系的核心挑战或阻力是什么？国投智能是如何帮助企业应对这些挑战的？

【国投智能赵院长】：企业落地AI生成合成内容安全的核心阻力，其实是成本与体验之间的权衡。

• 一方面，实时检测海量上传的内容需要大量的算力资源，企业不仅需要增加硬件投入，还要承担后续的运维成本，这对很多企业来说是不小的负担；

  
  

• 另一方面，内容审核流程的延长会影响用户体验，比如用户上传视频后，需要等待检测完成才能发布，可能会导致用户流向审核相对宽松的平台，比如抖音用户转向快手，这也是企业非常顾虑的问题。

  
  

• 此外，不同规模的企业，需求和能力也存在差异。大型企业业务需求复杂，安全级别要求也高，通常需要定制化方案；中小企业体量小、成本预算有限，不需要复杂的部署，但仍需根据实际业务规模选择能适配的方案。

针对企业这些痛点，国投智能给出了AI生成合成内容安全检测的多元和分级解决方案，精准匹配不同规模、不同行业的客户需求，帮助企业降低合规门槛和落地成本。在产品形态上，国投智能构建了深度合成检测四大核心产品，覆盖全场景需求：

• 一是美亚鉴真小程序：面向公众免费开放，主要提供图像与视频伪造内容检测服务，操作简单、便捷易用。自2024年3月上线以来，已经接入全国27个省、120多家政务平台，累计服务超33万用户，还获得了央视新闻、人民网等主流媒体的报道，成为公众辨别AI生成内容的重要工具。

  
  

• 二是AI-3300慧眼视频图像鉴真工作站：属于实验室级装备型产品，主要服务于公安鉴定实验室、第三方司法鉴定机构，能够提供高精度的检测与鉴定服务。该产品曾获得2021年中国人工智能大赛“创新之星”奖，还入选了国家网络安全宣传周典型案例，得到了行业的高度认可。

  
  

• 三是移动端SDK：SDK将检测模型压缩至几十兆，能够在主流智能手机端离线运行，支持人脸认证、视频通话等场景下的实时深度伪造检测，既兼顾了隐私保护（数据无需上传云端），又保证了响应速度，适配移动端的使用场景。

  
  

• 四是私有化部署服务引擎：为客户提供检测与溯源引擎的本地化部署方案，能够满足运营商、金融、互联网大厂等对数据安全、高并发、定制化的高安全等级需求，确保数据不泄露，同时提供灵活的定制化开发服务。

结合这些产品，国投智能可以为不同规模客户制定差异化的落地方案。如：

• 对于大型部委、央企等客户，采用私有化部署一体机，支持高并发处理和定制化需求，能够适配其复杂的业务场景和严格的安全要求；

  
  

• 对于中小机构和个人用户，推荐使用美亚鉴真小程序，由平台承担算力成本，用户可以按需调用，无需投入额外成本；

国投智能在AIGC内容安全领域布局始于2019年深度伪造事件萌芽阶段。公司敏锐预判AI生成技术普及将带来安全风险，率先开展AI合成内容检测、溯源与鉴定研究。同时也承担公安部、工信部等多项国家级人工智能安全重点任务与专项，深度参与GB45438-2025标准制定；2024年在中国人工智能大赛AIGC视频检测赛道获A级证书并排名第一。

截至2025年底，在深度伪造检测、AIGC内容安全领域拥有超60项申请或授权专利，专利数量与技术覆盖度均位居行业前列。

此外，国投智能还与国内主流手机厂商合作，将移动端SDK提供给手机厂商，实现终端侧的离线检测。目前已有部分国产手机在系统更新后，就可以拥有“鉴真”检测能力，用户只需开启相关开关，就能在日常使用中快速辨别AI生成内容。

【安全牛】：最后，请您简单谈一谈对AIGC安全未来发展趋势的看法？

【国投智能赵院长】：

首先，AIGC技术的迭代速度远超我们的预期，过去三年的发展成果，已经超过了此前十余年的总和。未来1–3年，AIGC技术可能会出现颠覆性突破，其应用场景和技术体系也可能会全面重构，这也会给AI内容检测带来新的挑战和机遇。

其次，AI生成内容安全向AIGC治理演进是一个必然趋势。AIGC安全治理不能只依靠技术，还需要构建“技术+治理”双轮驱动的保障体系。一方面，我们会持续加大技术研发投入，紧跟AIGC技术的迭代步伐，不断提升检测能力，应对新的安全风险；

另一方面，还需要加强全社会的协同治理。比如，我们通过美亚鉴真小程序、宣传材料等多种形式，开展公众教育，提升全民AI安全意识，让大家能够主动辨别AI生成内容，防范相关风险；同时，我们也会持续推动行业标准的制定，开展定期培训、企业宣贯等工作，推动政府、企业、公众形成合力，构建全社会协同治理的格局，让AIGC技术在安全、合规的前提下，更好地赋能各行各业的发展。

如果您也在关注 AIGC 合规落地的相关问题，欢迎分享给行业伙伴，共同探讨合规落地的可行路径。

安全牛《AI生成内容安全及风控管理技术应用指南》将于近期发布，敬请关注！