AIGC大模型数据安全分析研究

编者荐语

本文直面大模型从训练到部署的“七寸”风险；横向对比中美欧治理模式差异，并给出覆盖数据、算法、算力的全栈式内生安全方案。

引用本文

肖海斌 ,陈强 ,田勇强 ,等 .AIGC大模型数据安全分析研究[J]. 信息安全与通信保密 ,2026(1):77-90.

文章摘要

近年来，生成式人工智能（AIGC）大模型在推动内容生产变革的同时，其训练与应用过程中暴露出的数据安全问题日益突出，包括隐私泄露、版权争议、深度伪造及模型攻击等风险，已引发全球监管与技术界的广泛关注。在此背景下，围绕AIGC大模型全生命周期中的数据安全挑战，结合政策法规、技术演进与典型事件，系统分析了训练数据合规性、算法偏见、提示词注入及硬件供应链等多维度风险，并对比国内外治理模式差异；进一步提出一个融合数据、模型、应用与制度4个层面的协同防护框架，并通过Kimi数据收集违规与英伟达H20芯片漏洞2个典型案例验证其适用性。结果表明，唯有构建覆盖“算法—数据—算力”全栈的内生安全体系，强化软硬协同与制度保障，才能实现AIGC技术的安全可控与可持续发展。

0 引言

大模型（large language model, LLM）通常指参数量巨大、结构复杂，并能处理和学习大规模数据集的人工智能模型。随着人工智能技术的快速发展，以ChatGPT、DeepSeek、通义千问、文心一言等为代表的大模型在自然语言处理、图像识别和数据分析等多个领域展现出卓越性能，不仅提供了更加精准的预测和决策支持，还推动了人工智能技术的整体进步，为解决复杂问题提供了新的可能。

面对数字内容消费的持续增长，市场对高质量、高效率及多样化内容的需求日益迫切，生成式人工智能（artificial intelligence generated content,AIGC）技术应运而生，成为提升内容生产效率、降低创作门槛的关键手段。AIGC是指通过深度学习模型自动生成文本、图像、音频、视频等内容的技术集合，尤其适用于需快速生产大量重复性内容的场景。AIGC的出现标志着人工智能从感知智能迈向认知智能的重要跨越，其核心技术包括生成模型、多模态融合及预训练机制等。

然而，随着AIGC技术的迅猛发展，大模型在训练与应用过程中所涉及的数据安全问题日益凸显，不仅威胁用户隐私与数据主权，也对技术的可持续应用构成严峻挑战。对此，我国全国网络安全标准化技术委员会于2024年发布了《人工智能安全治理框架》1.0版，该文件明确指出人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期各环节都面临安全风险，既面临自身技术缺陷、不足带来的风险，也面临不当使用、滥用甚至恶意利用带来的安全风险。据IDC于2025年4月发布的数据，2024年全球人工智能IT总投资规模达到3158亿美元。该报告指出，AIGC作为增长最快的分支之一，正经历爆发式发展。这一趋势凸显了伴随技术进步而加剧的安全挑战，其中AIGC技术引发的隐私泄露、版权争议、深度伪造等系统性风险，已引发学术界、业界与监管机构的高度关注。典型案例包括：2025年，英伟达面向中国市场销售的H20算力芯片被曝存在可能导致“追踪定位”和“远程关闭”的安全漏洞，若被不当利用可能引发严重的隐私泄露与数据安全风险。2025年7月，我国召开国务院常务会议，强调要提升人工智能安全能力，加快构建动态敏捷、多元协同的治理格局，以有效应对新兴技术带来的风险与挑战。

鉴于上述风险，在涉及此类技术的产品的训练、部署和应用过程中，实施严格的数据保护和隐私安全措施显得尤为重要。当前，国内外针对该问题已有一定研究，针对数据隐私保护，研究者普遍采用差分隐私、联邦学习和可信执行环境（trusted execution environment,TEE）等技术，在保障模型性能的同时限制敏感信息泄露。针对模型安全检测，浙江大学团队研发的AIcert平台实现了覆盖数据、算法、模型、框架到系统的全栈安全评测体系，支持对抗攻击、后门植入及公平性偏差等多维风险评估。此外，鲁凯等人开发了一套专门针对人工智能数据安全的检测工具，能够为关键行业的人工智能算法及数据提供安全评估和检测服务。这些研究表明，构建覆盖AIGC大模型全链条的安全防护机制，已成为提升AIGC可信度的核心路径。

本文旨在系统梳理和分析当前AIGC领域内数据安全的关键问题及最新研究进展，以探寻提升AIGC大模型数据安全性的有效策略。

1 AIGC大模型行业发展现状

AIGC大模型在全球范围内正处于快速发展与深刻变革之中。在国内，我国通过技术创新，在AIGC领域取得了显著进展。百度、阿里巴巴、腾讯、华为等科技巨头相继推出了具有自主知识产权的大模型，如深度求索公司的“DeepSeek”、百度的“文心一言”和阿里的“通义千问”等。这些模型不仅在中文语言理解与生成上表现突出，还在图像、音频等多模态处理能力上实现了重要突破。我国高度重视人工智能发展，“十四五”规划纲要提出“瞄准人工智能、量子信息、集成电路、生命健康、脑科学等前沿领域，实施一批具有前瞻性、战略性的国家重大科技项目”，并强调“推动互联网、大数据、人工智能等同各产业深度融合”，为人工智能领域的自主创新和应用落地提供强有力的政策支持。国内企业正积极将AIGC技术应用于教育、医疗、金融、娱乐等多个行业。据艾瑞咨询《2024年中国AIGC产业研究报告》预测，至2030年，我国AIGC市场规模将有望突破万亿元人民币。

在国外，美国依然是全球人工智能大模型研发的领导者，OpenAI的GPT系列、双向编码器（bidirectional encoder representations from transformers,BERT）以及T5（text-to-text transfer transformer）等模型定义了当前的技术前沿。微软、谷歌等大型科技公司积极探索AIGC技术的商业化路径，推动了从基础硬件到各类垂直领域应用软件的完整产业链发展。然而，随着AIGC技术的广泛应用，其引发的数据隐私、版权争议以及恶意使用等问题也逐渐显现。这促使各国政府加快相关法律法规的制定与完善，以确保技术发展的安全可控和社会责任的履行。

综上所述，无论是国内还是国外市场，AIGC大模型都展现出了巨大的发展潜力，但同时也面临着技术、伦理与治理方面的多重挑战。未来，如何平衡技术创新与安全治理将是该领域发展的关键，亟须构建完善的监管体系与标准化机制，以促进AIGC行业健康可持续发展。

2 大模型数据安全治理现状

2.1 国内大模型数据安全治理现状

国内对AIGC大模型的数据安全治理正处于快速发展和不断完善阶段。以ChatGPT为代表的AIGC技术在推动创新与效率提升的同时，也带来了数据安全、隐私保护和算法偏见等多重风险。为应对这些挑战，我国政府和企业正从政策监管与行业自律两方面采取一系列措施。一方面，国家已相继出台《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》及《生成式人工智能服务管理暂行办法》等法律法规，为AIGC的发展提供法律框架，并确保数据的安全与合规使用。相关部门还加强了对数据跨境流动的监管，防范敏感信息泄露，并积极建立数据分类分级管理体系，以适配不同级别的数据安全需求。另一方面，企业正通过自律规范与技术手段加强数据治理。一些领先的大模型开发者正探索采用差分隐私、联邦学习等技术手段，提升数据处理中的隐私保护能力。同时，企业也在加强对内部数据安全治理结构的建设，增强员工的数据安全意识，并采用先进的安全工具以预防潜在风险。总体来看，国内AIGC大模型的数据安全治理正朝着更加系统化与法治化的方向发展，力求在促进技术创新的同时，切实保障数据安全和个人隐私。

2.2 国外大模型数据安全治理现状

近年来，世界各国，尤其是发达国家，正逐步建立和健全隐私保护法规及监管机制，以加强个人隐私权的保护并确保大模型应用的安全。同时，这些国家也在积极推进相关技术的发展，为大模型技术在全球范围内的应用提供稳固的基础。作为人工智能技术的重要发源地之一，美国在技术创新、政策制定和标准设立方面具有重要影响力。2021年1月，美国通过了《2020年国家人工智能倡议法案》，并成立了国家人工智能倡议办公室。随后在2022年，美国推出了首个得到两党共同支持的联邦全面隐私保护提案——《美国数据隐私和保护法（草案）》。此外，为了推动负责任的AIGC的发展与部署，并避免提供可能违法或加剧歧视的偏见结果，许多科研组织和领先的科技企业开始采取自我监管措施。例如，微软在Microsoft Cloud for Sovereignty框架和Microsoft Trust Center中系统阐述了如何通过零信任架构、数据加密、合规认证及透明化治理等技术与管理措施，保障云端数据的安全、隐私与合规；还发布了关于人工智能使用的具体指导方针，强调了公平性、透明度、责任性、隐私保护等关键原则。同样地，Google也构建了一套全面的数据治理框架，并通过其官方政策文档与技术白皮书持续更新最佳实践。在其《隐私权政策》（Privacy Policy）和《2025年提供安全可靠的AI》（Delivering Safe and Secure AI in 2025）等文件中，明确提出了个人数据处理的核心原则，包括最小化数据收集、限制数据保留期限、端到端加密以及客户数据主权保障等内容。这些努力共同构成了一个多层次和多维度的治理体系，既鼓励创新又强调责任意识，以应对人工智能快速发展带来的各种挑战。

2.3 国内外大模型数据安全治理体系对比分析

为进一步明晰国内外大模型数据安全治理路径的异同，本节从法律体系、监管机构等维度进行系统性对比，如表1所示。通过对比可知，国内外均重视数据安全立法、隐私保护技术应用以及落实企业责任，但具体路径存在差异，我国的治理体系强调内容安全、可控发展与国家安全，通常采用自上而下的强监管模式；而以美国和欧盟为代表的国外治理路径，则更侧重于个人权利保护与风险分级管理，监管模式上通常更依赖市场自律与事后问责。

表1 国内外大模型数据安全治理体系对比

3 AIGC大模型数据安全风险分析

大模型的发展与进步主要依赖于3大核心驱动力：算法、算力和数据。其中，算法是大模型的灵魂，决定了如何从海量信息中提取有价值的知识，并通过机器学习等技术实现智能化决策。算力，即计算能力，是大模型运行的物理基础。依赖高性能处理器、大规模并行计算能力和快速存储技术，为处理海量数据和复杂模型提供必要的运算速度与效率。数据则是大模型学习和进化的重要素材。AIGC大模型与数据之间相互依存，相互促进，高质量的大规模数据集能够帮助大模型更准确地理解、识别及生成内容；而大模型能力的提升又可进一步推动数据的收集、存储及利用水平。由于大模型的演进高度依赖数据的采集与使用，数据在互联网环境中的广泛流动也带来了诸多安全挑战。例如，针对训练数据的攻击可能干扰模型的计算，影响其预测结果的准确性与可信度；而针对隐私的攻击则可能导致用户敏感信息外泄，损害系统的隐私保护能力。由此可见，保障数据安全与用户隐私已成为推动大模型可持续发展的关键任务。

3.1 训练数据风险

数据是连接现实与虚拟空间的关键纽带。若数据质量不达标，则难以准确反映真实世界，基于此类数据训练的AIGC大模型易产生偏差，进而生成错误或失真的内容，形成“劣质输入，劣质输出”的现象。AIGC大模型训练数据的质量安全正面临多重挑战，如利益驱动下的数据污染、技术局限导致的数据筛选不足、管理漏洞引发的隐私泄露等。若此类风险得不到有效管控，将直接影响大模型的可靠性和安全性，可能进一步引发算法偏见、信息失真等连锁反应，最终对数字社会生态造成深远影响。

3.1.1 数据来源合规性

训练大模型需要收集大量数据作为学习基础，并构建相应的语料库，因此必须广泛获取多种类型的信息资源。AIGC大模型的数据来源合规性问题主要集中在版权与隐私数据滥用等方面，这对确保大模型技术的可持续发展和至关重要。在数据收集过程中，除合法获取的信息外，部分模型可能存在通过非公开或未充分授权的方式采集个人、企业及公共数据的情况。尤其是在个人数据方面，有时绕过了《中华人民共和国个人信息保护法》所要求的“知情同意”程序，导致数据采集行为缺乏透明性和合法性。例如，部分大模型在未取得用户事先同意或授权的前提下收集其敏感信息，用于预测用户需求或行为，此类操作已明显违背相关法律法规。国内通用大模型Kimi在其2.0.8版本中曾被曝存在收集与业务功能无直接关联的个人信息问题，导致用户信息被过度采集。因此，训练数据必须确保合法合规，其来源应为公开可用且无版权限制的内容或已获得权利人的明确授权的材料。未经许可使用受版权保护的材料（如书籍、文章、图像等）可能构成侵权，带来法律风险。

3.1.2 数据偏见与歧视性放大

算法在处理数据时可能无意识地继承并放大社会固有偏见，导致输出结果出现偏差或歧视，如在贷款审核、保险费率设定等场景中产生不公正的判断。更令人担忧的是，系统可能基于有误的数据生成具有歧视性的“数字标签”，这不仅会侵害个人权益，还可能加剧算法歧视，引发深层次的社会问题。大模型还可能加剧“信息茧房”效应，加深刻板印象与社会割裂。尤其是当模型对不同宗教、种族、性别等群体产生差异性处理结果时，可能引发内容不公，进一步推动社会不平等。为此，越来越多的企业开始正视模型研发中的伦理风险与偏见挑战，并着手探索有效的应对策略。如何有效缓解和纠正模型中的偏见、增强人工智能应用的公平性与透明度，已成为大模型研发与落地过程中的关键挑战。这不仅需要技术上的突破，如优化算法以降低偏差，更需要政策制定者、科技企业及社会各界协同合作，共同构建包容、公正的技术发展体系，确保人工智能的应用能够真正服务于社会整体利益，推动福祉提升而非造成新的障碍。

3.1.3 训练数据深度伪造

大模型在数据深度伪造方面存在显著风险，主要表现为利用生成对抗网络（generative adversarial networks,GANs）、Transformer架构等AIGC技术，合成高度逼真的虚假文本、图像、音频或视频内容，具体过程如图1所示。其原理是通过大规模训练数据和强大的模型结构，使AI能够学习并模仿真实数据的分布特征，从而生成以假乱真的内容。这些伪造数据可能被用于虚假宣传、身份冒用、舆论操控等恶意用途，严重扰乱社会秩序与公共信任。例如，深度伪造技术可被用于伪造政治人物或公众人物的言论视频，制造高度逼真的虚假信息，操纵公众情绪，引发舆论动荡，甚至影响社会稳定。此外，深度伪造生成的内容不仅可能误导人们视觉判断，还可能通过人脸识别系统的验证，对基于生物特征的身份认证机制构成严重威胁。2025年，一段利用人工智能生成的某知名企业家虚假视频在网络上广泛传播，其形象、声音、语气与动作均与本人高度相似，导致许多网友难辨真假。该事件凸显了深度伪造技术滥用不仅可能误导公众认知，还可能对个人名誉、企业形象乃至社会稳定造成严重影响。同时，该事件也引发了关于人工智能伦理、内容监管及身份验证安全性的广泛讨论。

图 1　数据深度伪造生成流程

3.2 部署应用风险

AIGC大模型凭借强大的学习能力，能更精确地识别数据中的统计特征，从而提升模型的泛化能力和预测精度。然而，其训练所依赖的海量数据中常包含敏感信息和个人隐私，不仅可能涉及姓名、电话号码等基本信息，还可能涵盖生物特征、位置轨迹等敏感数据，一旦处理不当，便可能带来数据泄露与侵犯个人隐私的风险。这不仅损害个人权益，还可能被恶意利用，造成经济损失，动摇公众对人工智能技术的信任，引发社会信任危机。根据IBM发布的《2025年数据泄露成本报告》，在遭遇人工智能安全漏洞的企业中，绝大部分（97%）尚未部署人工智能访问控制机制。这表明企业在人工智能系统安全防护上的投入和基础建设严重不足，未达到对所有数据进行加密的水平，对隐私泄露的重视程度仍有待提高。因此，在AIGC大模型处理大量个人数据和敏感信息的过程中，如何加强数据隐私保护机制，防止敏感数据的泄露，抵御部署应用阶段的隐私推断攻击，并保障模型的机密性与完整性，已成为人工智能大模型发展过程中亟须解决的关键问题。

3.2.1 提示词注入攻击

提示词注入攻击（prompt injection attack）是一种基于自然语言处理（natural language processing,NLP）的人工智能系统，尤其是针对依赖文本输入执行任务的系统的攻击方式。这类攻击通过精心构造并操纵提供给人工智能模型的输入（即“提示”），使其偏离预期行为，产生非预期的结果甚至执行恶意操作。在提示词注入攻击中，攻击者利用人工智能模型对输入文本的理解与响应机制，通过精心构造的输入内容，试图绕过或改变模型的行为。例如，在一个聊天机器人或文本生成场景下，攻击者可能尝试嵌入特定指令或问题，以诱导模型泄露敏感信息、执行不当行为或者生成有害内容。具体而言，在一个对话系统中，攻击者可能通过特定的问题或指令诱导模型输出个人隐私、商业机密等不应公开的信息。

如图2所示，在生成式通用对话大模型场景中，攻击者可以通过向模型输入特定提示（prompt），诱导其生成包含用户序列号等敏感信息的文本。此类攻击尤其危险，因其可直接导致原始数据泄露，威胁个人信息安全与企业机密，对社会产生深远影响。因此，必须采取有效措施防范此类攻击，保护数据与隐私安全。

图 2　生成式对话大模型应用场景

3.2.2 模型逆向攻击

攻击者可利用模型的应用程序接口（application programming interface,API），结合数据关联分析和逻辑推断，通过分析输入与输出之间的对应关系，尝试反向推演出训练数据及其中包含的隐私内容。该过程利用了大模型对训练数据的“记忆”特性——即模型在训练期间可能过度拟合某些样本，导致其信息被编码并保留在模型参数中。通过精心设计的查询，攻击者可诱使模型生成与原始训练数据高度相似的输出，从而泄露敏感信息。例如，在人脸识别系统中实施的逆向攻击，攻击者可能仅凭用户姓名等公开信息，结合模型的API进行反复查询和分析，逐步推断并尝试重建该用户的面部特征或近似照片。此类攻击揭示了人工智能模型在数据安全方面的一个重要漏洞：即使原始数据经过处理或匿名化，若对查询次数或查询模式缺乏适当限制与监控，攻击者仍可能通过系统化、增量式的查询获取敏感信息。

4 AIGC大模型数据安全防护机制

为构建安全、可信、可控且合规的AIGC大模型，确保其在训练、部署和应用过程中的安全可靠，本文提出一个覆盖数据、模型、应用及制度等多维度的AIGC大模型安全防护框架，如图3所示。该框架旨在通过综合考虑数据安全、模型安全、应用安全等多方面的安全措施，全方位保障AIGC大模型的安全。

图 3　AIGC 大模型安全防护框架

4.1 数据安全

数据安全是AIGC大模型安全运行的关键，涵盖数据合规性检测、敏感数据保护、数据加密存储与传输等方面。首先，数据合规性检测是基础。确保所使用的数据符合《通用数据保护条例》《中华人民共和国个人信息保护法》等相关法律法规及行业标准。通过自动化工具和技术手段对数据源进行审查，可以有效识别并过滤不合规的数据，规避法律风险。其次，敏感数据保护不仅仅局限于对直接识别个人信息的保护，还需要考虑到间接识别信息、商业秘密等可能引发隐私或安全问题的数据类型。例如，可以采用数据脱敏技术，在保证数据可用性的前提下对敏感信息进行转换或隐藏，是有效的保护手段；可以利用量子加密等先进加密技术对数据进行加密处理，能够有效抵御未授权访问；在数据传输阶段，实施传输层安全（transport layer security,TLS）或安全套接层（secure sockets layer,SSL）协议，能确保数据在网络传输过程中的安全性，降低中间人攻击的威胁。此外，为加强隐私保护，可将AIGC大模型与TEE和安全多方计算（secure multi-party computation,MPC）等隐私保护技术相结合。例如，基于MPC的方法，通过多项式替换非线性激活函数，使得同态加密和秘密共享等技术能应用于大模型，确保数据在处理过程中的隐私性和安全性，同时也允许各方在不暴露各自数据的前提下共同参与模型训练或推理。

4.2 模型安全

模型安全是AIGC大模型安全防护框架的关键组成部分，贯穿大模型全生命周期。根据大模型发展阶段，可将模型安全分为预训练、训练和使用3个阶段实施针对性防护。

（1）预训练阶段：重点防范数据投毒和知识产权风险，确保模型基础安全。可通过多源数据交叉验证、数据溯源和异常检测等技术防御数据投毒攻击；采用数字水印、模型指纹和区块链存证等手段保护模型知识产权；应用差分隐私、正则化和联邦学习等技术防止成员推理攻击，保障训练数据隐私安全。

（2）训练阶段：聚焦提升模型鲁棒性、公平性和可审计性。通过对抗训练增强模型对恶意输入的抵抗能力，提升泛化性能；开展全面的模型审计，包括偏见检测、安全漏洞扫描、合规性验证和可解释性分析；同时建立完整的训练日志记录和版本控制系统，实现模型权属的清晰界定和过程追溯。

（3）使用阶段：确保模型在部署应用过程中的持续安全。通过模型水印验证和指纹技术防止模型被非法复制和分发；实施API访问控制和查询监控，防御模型逆向攻击和窃取行为；并建立模型更新和安全补丁机制，及时修复已发现的安全漏洞。

此外，还需要建立预训练、训练和使用3个阶段的纵向协同机制，实现数据—模型联动、审计—优化闭环和攻防迭代；通过多技术融合、攻防对抗和标准统一的横向协同，构建多层防御体系；贯通模型全生命周期的安全追溯，确保安全责任可追溯、安全措施可量化。

3个阶段的防护措施与协同机制共同构成了完整的模型安全保障体系，为AIGC大模型在各环节的安全可靠运行提供了坚实基础，也为后续的应用安全部署创造了有利条件。

4.3 应用安全

大模型应用安全旨在确保人工智能系统在实际部署中的安全可控与合规可信，主要包括安全访问控制、模型推理安全、生成内容检测和安全运营反馈4个方面。

（1）安全访问控制：建立严格的身份认证与授权机制，采用多因素认证、基于角色的权限管理和API安全防护等措施，确保只有授权用户能够访问模型资源，最大限度地保护模型服务和敏感数据的安全。

（2）模型推理安全：针对推理阶段威胁部署防护措施。通过查询限制、输出扰动和差分隐私防御模型逆向攻击；利用输出粒度控制、模型水印和蜜罐技术防止模型窃取；并借助输入预处理、集成防御和在线对抗训练等手段抵御对抗样本攻击，确保模型服务过程中的安全性和鲁棒性。

（3）生成内容检测：对模型输出内容进行实时监控与治理。利用敏感词检测、版权侵权识别和虚假信息核查等确保生成内容合规；结合数字水印、区块链存证和数字签名等手段实现内容溯源与权属管理；并辅以语义分析、多模态检测技术及人工审核，构建全方位的内容安全保障体系。

（4）安全运营反馈：建立持续的安全运营体系，包括实时性能监控、安全事件检测和自动告警。完善事件分级、快速隔离、溯源修复和事后复盘的应急响应流程，并定期开展安全评估、渗透测试与策略优化，实现对应用状态的动态管理与持续改进。

上述4个方面协同作用，共同构建了一个覆盖“访问—推理—生成—运维”全链条的应用安全防护体系，确保大模型能够在合法、合规、安全的前提下稳定运行。这一综合性的安全框架不仅增强了系统的整体安全性，还提升了用户体验和信任度，为AIGC技术的健康发展提供了坚实保障。

4.4 制度规范

制度规范为AIGC大模型安全、合规、可持续发展提供基础支撑，主要包括完善法律法规、制定伦理指导原则、强化技术支持和加强业务合规性评估。

（1）完善法律法规：建立健全、与人工智能发展相适应的法律体系，明确数据采集、使用、共享等环节的权责边界，强化对个人信息、隐私与知识产权的保护。同时，针对AIGC的真实性与责任归属等问题制定专项法规。

（2）制定伦理指导原则：确立以“以人为本、公平公正、可解释、可控”为核心的人工智能伦理准则，引导企业在技术研发和应用过程中尊重用户权益、避免算法歧视与偏见，防范技术滥用和伦理风险，构建负责任的人工智能创新生态。

（3）强化技术支持：鼓励科研机构与企业加强安全防护技术的研发投入，推动可信计算、隐私计算、内容溯源、对抗攻击检测等关键技术的应用落地与标准化，提升大模型系统的整体安全性与鲁棒性。

（4）加强业务合规性评估：建立覆盖模型训练、部署与运营全过程的合规评估机制，围绕数据来源合法性、内容生成合规性、用户隐私保护等方面开展定期审查和风险评估，确保各项业务活动符合国家法律法规和行业监管要求。

5 典型案例分析

为了将前文所述的理论风险与防护机制置于真实场景中并加以验证，本节选取了国内通用大模型Kimi在数据收集方面的合规性案例，以及引发广泛关注的英伟达H20芯片漏洞事件进行深入剖析。这2个案例分别从数据合规与算力基础2个维度，揭示了AIGC大模型安全面临的现实挑战。

5.1 案例1：Kimi数据收集合规性分析

5.1.1 案例背景

2024年，国内知名通用大模型Kimi在其2.0.8版本中被曝光存在收集与业务功能无直接关联的个人信息的问题，导致用户信息被过度采集。这一事件是3.1.1节所述的数据来源合规性风险的典型实例。该模型在未明确告知用户并获得其单独同意的情况下，通过交互日志、用户输入等渠道，收集了设备信息、位置轨迹乃至未明确界定的“其他个人信息”。这一做法直接绕过了《中华人民共和国个人信息保护法》确立的“告知—同意”核心原则，即数据处理者必须在清晰告知用户信息处理目的、方式及范围的基础上，取得用户的自主同意。

5.1.2 影响与关联风险

此案例的影响远不止于违规本身，也触发了一系列连锁风险。

（1）法律与信任风险：该行为使模型运营方面临来自监管部门的审查与处罚风险，同时严重损害了用户信任，动摇了市场对大模型合规性的信心。

（2）数据污染与偏见放大：不合规收集的数据往往未经严格的清洗与审核，可能将社会已有的偏见（例如，通过特定用户群体的交互数据）带入训练集，导致模型在生成内容时放大这些偏见，产生不公平的输出。

（3）模型逆向攻击的温床：模型在训练过程中所记忆的这些违规收集的隐私数据，成为如3.2.2节所述的模型逆向攻击的潜在目标。攻击者可能通过精心构造的提示词，诱导模型泄露其记忆中的敏感个人信息，导致隐私遭受二次伤害。

5.1.3 防护机制与对策

针对该案例所揭示的问题，本文第4章提出的防护框架为其提供了系统的应对思路。在数据安全方面，需重点强化数据合规性检测与防护。在数据入库前，应部署自动化数据扫描与分类工具，识别并过滤掉未经授权或超出范围的个人信息；同时，对已收集的数据，实施数据脱敏和加密存储，确保即使数据被访问也无法直接关联到特定个人。在制度规范方面，企业应加强业务合规性评估，建立覆盖模型训练全生命周期的合规审查机制，在数据收集的源头，严格按照《中华人民共和国个人信息保护法》等法律法规，通过清晰的隐私政策与用户协议确保数据来源的合法性。

5.2 案例2：英伟达H20芯片漏洞的算力基础安全分析

5.2.1 案例背景

2025年，英伟达面向中国市场销售的专用AI算力芯片H20被曝光存在严重的安全漏洞，其中最为引人关注的是所谓的“追踪定位”和“远程关闭”功能。这并非传统的软件漏洞，而是潜藏于硬件或固件层的设计特性或后门。该事件将AIGC大模型安全的焦点从算法与数据，引向了其赖以运行的物理算力基础，揭示了供应链安全与底层硬件可信度的极端重要性。

5.2.2 影响与关联风险

该漏洞对构建于其上的AIGC大模型生态系统构成了根本性威胁。在数据主权与隐私泄露方面，“追踪定位”功能意味着模型训练与推理过程中流转的敏感数据（如商业机密和个人信息）可能面临前所未有的旁路泄露风险。即使应用层做了完善的加密和访问控制，底层硬件也可能成为“泄密后门”。在业务连续性与国家安全方面，“远程关闭”功能可能使模型服务因单点故障而瞬间瘫痪，对依赖大模型的关键基础设施（如金融、能源、公共安全）构成严重威胁。在供应链安全与信任危机方面，该事件凸显了在全球化供应链背景下，核心算力资源的“受控依赖”风险。它警示我们，若缺乏自主可控的底层算力支撑，上层模型与应用所构建的安全防护体系将缺乏可信根基，其整体安全性难以得到有效保障。

5.2.3 防护机制与对策

此硬件级漏洞要求从软硬件协同的视角升级防护框架。具体而言，需将模型审计的范围扩展至运行环境审计，包括对底层硬件和固件的安全认证；需引入硬件TEE或机密计算（confidential computing）技术，确保即使在基础设施不可完全信任的情况下，模型与数据也能在硬件强制隔离且加密的TEE中受到保护。强化制度规范，应加快构建自主可控的人工智能算力产业链，降低对单一技术来源的依赖；建立严格的人工智能基础设施供应链安全审查制度，对核心芯片、服务器等组件实施准入管理与持续监控；并在系统架构设计中融入“韧性”理念，即使部分算力节点被“远程关闭”，系统仍能通过资源调度保持降级运行能力。

5.3 综合分析启示

如表2所示，通过对上述2个案例的对比分析，AIGC大模型的安全是一项覆盖数据、算法、算力全栈要素的系统性工程。Kimi案例揭示了模型“上层建筑”中合规治理的紧迫性，而英伟达H20事件则警示算力“基础底座”的自主可控是安全的前提。未来，必须采取“软硬结合、标本兼治”的策略，在推动技术创新的同时，构建从芯片硬件到数据应用的全链路、内生性安全防护体系。

表 2　案例对比分析

6 结语

AIGC大模型的安全防护不仅是一项复杂的技术课题，更是一项涵盖伦理、法律与管理等多维度的系统性工程。本文通过深入分析AIGC大模型在实际应用中所面临的安全威胁，系统梳理了其在数据安全、模型安全和应用安全等方面的核心防护需求，进一步构建了一个面向AIGC的大模型安全防护体系框架，并从技术完善、制度建设、标准规范与协同治理等多个层面提出了推动其安全发展的实践路径。展望未来，AIGC大模型的数据安全研究仍面临诸多挑战与机遇。随着文本、图像、音频、视频等多模态大模型的快速发展，跨模态的数据安全威胁和攻击手段将更趋复杂。因此，构建统一的多模态安全防护框架，实现跨模态的隐私保护、内容审核与溯源认证，是未来重要的研究方向。多模态攻击通常基于不同模态之间的语义一致性漏洞，通过在一个模态中嵌入恶意信息来影响其他模态的输出。例如，攻击者可能在图像中嵌入对抗性扰动，诱导文本生成模块产生有害内容。因此，需要研究跨模态的对抗攻击检测技术与联合防御机制。同时，亟须推动建立覆盖数据、模型与应用全生命周期的标准化安全评估体系，为全球AIGC治理贡献“中国方案”。只有在技术创新与安全保障并重的前提下，AIGC技术才能真正实现普惠、可信与可持续的发展目标，为人类社会创造更大价值。

作者简介

肖海斌（1993—），男，硕士，工程师，主要研究方向为人工智能、信息安全；

陈　强（1983—），男，硕士，高级工程师，主要研究方向为密码算法、信息安全；

田勇强（1986—），男，硕士，工程师，主要研究方向为信息安全；

涂　杰（1993—），男，学士，工程师，主要研究方向为信息安全。