社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  aigc

AI安全治理框架2.0深解:从风险“分类分级”到AIGC“可追溯”

安小圈 • 10 月前 • 386 次点击  


安小圈

第796期


为何推出2.0:技术突进与风险同步演进

2024年9月发布的1.0版后,高性能推理模型、轻量级开源模型、嵌入业务流程的智能体,以及具身智能/脑机接口加速“最后一公里”融合,使AI能力与使用场景快速外延,风险形态与影响同步变化,这正是2.0修订的根源。 
在国家网信办指导下,TC260联合CNCERT等机构据此“梳理调整风险分类、研究分级方法、动态更新治理措施”,形成2.0版。


图片


框架全景:四块拼图,一张蓝图

2.0版结构清晰,核心由四部分组成:

  • 安全治理原则总体框架(总纲)

  • 安全风险分类:技术内生、技术应用、应用衍生三大类(3.1/3.2/3.3)

  • 技术应对措施:分别对应三类风险(4.1/4.2/4.3)

  • 综合治理措施(5.1—5.14)与安全指引(6.1—6.4),覆盖研发、部署、运行到使用全流程。


三类风险速览:从“内生问题”到“社会影响”

  • 技术内生风险:可解释性不足、偏见与歧视、鲁棒性不强、幻觉与不可靠输出、对抗攻击、模型缺陷扩散等。

  • 技术应用风险:网络与系统暴露面扩大、组件/算力与供应链安全等问题在工程化交付中叠加放大。

  • 应用衍生风险:认知安全(信息茧房、认知战)、社会与环境(就业结构、资源消耗)、伦理风险(智能鸿沟、科研伦理等)。


分类分级的“操作要点”

2.0将“应用分类+风险分级”写入治理抓手:从应用场景、智能化水平、应用规模三维度开展分级,并推动行业主管部门制定细化细则与标准,形成可执行的评估路径。  
风险等级设置覆盖“重大、特别重大”等场景描述,以支撑差异化防范与审计。

治理“组合拳”:五件值得关注的事

  • AIGC可追溯:按显式/隐式标识要求,覆盖制作源头—传播路径—分发渠道关键环节,便于用户识别信息来源与真实性。

  • 开源与供应链:完善开源规则和下载使用“禁止性”行为告知,提升模型透明度与供应链稳健性。

  • 行业路径:围绕能源、电信、金融、交通、教育、工业等行业建立应用安全指南,释放行业应用潜力。

  • 测评体系:模型算法/应用通用/具体场景三层联动,关注鲁棒性、可靠性、抗干扰与防御能力等,还鼓励漏洞众测。

  • 数据与个人信息保护、威胁情报共享、失控风险共识、人才与国际合作等“配套件”齐备(5.9—5.14)。


给企业/机构的“三步落地清单”

第一步:做“分类分级+基线评估”
围绕场景重要性、智能化水平、应用规模进行风险分级;行业侧按细则确定权重与定级原则,并据此安排定期审计。

第二步:把技术护栏前置到工程流水线

  • 供应链与程序集成:仅从官方/主流开源社区获取模型与组件,做完整性校验与安全检测,建立漏洞追溯机制。

  • 访问控制与最小权限:禁用不必要端口/功能,审计默认配置/口令,限制接口频率,对高风险操作与恶意行为设阻断策略。

  • 数据治理与护栏:明确隐私与数据安全要求,部署“安全护栏”识别违法不良、提示词注入等,防范越权与越界输出。

第三步:运行管控与可追溯闭环

  • 建立运行监测与应急预案,设置预警阈值、能人工/传统系统切换并定期演练。

  • AIGC显/隐式标识与溯源管理,重点场景配深度伪造检测与来源核验。

  • 日志留存≥6个月并审计,提升透明度、说明适用边界与偏离度,保障用户知情/选择/监督权。


附录1:安全风险与技术应对措施、综合治理措施映射表
图片
附录2:AI安全治理2.0检查打分表(通用+金融/政务/工业)
图片
参考《人工智能安全治理框架》2.0,由TC260与CNCERT发布(2025年9月)。

END

内容来源:模安局

    图片

    • 沈传宁:落实《网络数据安全管理条例》,提升全员数据安全意识



      Python社区是高质量的Python/Django开发社区
      本文地址:http://www.python88.com/topic/189383