社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  aigc

【学保密】虚假信息、偏见歧视....如何提升AIGC合规水平?

内蒙古生态环境 • 1 年前 • 394 次点击  

随着人工智能(AI)大模型技术的飞速发展,人工智能生成内容(AIGC)技术已被广泛应用于多个领域,其生成效率与准确性随着算力、数据、算法等基础设施的不断完善而日益提高。人们在工作和生活中,可以利用AIGC技术更高效、便捷地生成文本、图像、音频和视频等内容。

然而,由于AIGC技术自身的黑盒属性和幻觉问题,有时会输出不实、不良信息,可能引发一些内容合规风险,包括:色情、毒品制造与贩卖、犯罪方法描写等违法内容;暴恐、血腥、恶心、仇恨等不良价值观内容;对国家、民族、性别、职业等的歧视与侮辱,以及错误的知识、虚假的历史、虚假新闻等虚假错误内容。这些问题不仅损害社会风气,还可能对国家安全和利益造成威胁。

我国对大模型的内容安全已有明确的法规和行业标准要求,但现有的内容审核与安全技术,在文本、图像、音频等方面的审核上还难以满足当前的需求,企业可尝试从技术手段和管理措施2个方面入手构建AIGC合规水平提升方案。

本期将为您介绍如何在大模型全生命周期采取技术手段以保障AIGC合规安全。

总的来说,可从两个方面采取技术手段来提升AIGC内容合规水平。一方面,在模型建设的全生命周期通过数据训练,完成对内容安全的多环节干预和管控;另一方面,建设基于AI的智能识别、内容过滤技术、实时预警与处理机制,提升业务内容安全性。这些技术手段既可以及时发现潜在的安全威胁,也要能够有效识别并过滤不良信息,为业务内容安全水平提升提供有效支撑。

大模型全生命周期一般包括数据准备与模型训练、模型评测、上线运营3个主要阶段。下面分阶段为大家介绍提升AIGC合规水平的技术措施。



数据准备与模型训练阶段




1.样本清理与风险识别。在数据准备阶段,需对各种样本进行标注与清理,识别并剔除潜在的违规信息,包括预训练样本和人工标注样本中的敏感、违法、违规等不良内容。针对敏感问题的识别,既需专业知识库通过检索增强生成(RAG)技术构建的标注模型,也需要专业人员进行高比例抽检,确保敏感问题的准确标注与处理。

2.安全对齐与增强。引入安全对齐机制,通过正向激励模型生成无害内容,减少有害信息的产生。此外,还需重视安全知识的增强,通过引入安全知识库、安全大模型等手段,提升模型的安全性能。



模型评测阶段




1.大模型安全能力评测。对大模型的安全能力进行全面评测,包括越狱攻击风险、提示词注入攻击风险、数据投毒攻击风险等。通过构建全面的评测数据集,如毒性识别数据集等,对大模型的安全性能进行精准评估。

2.评测报告与整改方案。根据评测结果,生成详细的评测报告,包括风险指数、风险详情报告、风险问题召回/准确率等关键指标。同时,根据评测报告中发现的问题,制定针对性的整改方案,如训练语料清洗方案、敏感知识代答方案等,确保模型的安全性能得到有效提升。



上线运营阶段




1.用户输入与模型输出的风险审核。在上线运营阶段,需对用户输入与模型输出进行严格的风险审核。对于敏感问题与需正向引导问题,引入安全大模型实现精准代答,确保输出的内容合法、合规。

2.场景级策略优化。针对不同场景,制定针对性的策略优化方案。对于必须准确回答的问题,如未成年人及种族问题等,需确保输出的内容准确无误;对于需要纠错回答的问题,如不正确的知识或不规范的表述等,需进行及时纠正;对于需要正向引导回答的问题,如负面、极端或涉及人身攻击等问题,需进行积极的正向引导。

3.流式长文本审核。针对模型输出的流式长文本,需进行实时的审核与检测。通过构建高效的审核引擎,对输出的文本进行切片审核,确保每一段文本都符合合规要求。同时,根据审核结果,对文本进行相应的处理,如删除违规内容、停止送审等。

4.建立应急处置预案。针对突发的内容安全事件,可通过实时跟进网络舆情态势,及时发现并处理敏感信息,确保生成内容的合规性与安全性。针对重大专项行动(如人事任免、重大灾害、重要会议等),可制定专门应急预案,通过提前准备相关敏感词库、构建快速响应机制等手段,确保生成内容能够迅速、准确地响应相关要求。

【本文摘编自《保密科学技术》2025年7月刊《人工智能生成内容安全水平提升研究》一文,作者:徐阳、徐良、江为强、何欣、王阳】
图片

END

「往  •  期  •  精  •  选」

12336开通,请记住这个电话!

如何让你的“AI搭子”更靠谱?

警惕穿戴在身上的“隐私刺客”

图片

喜欢就点个赞吧~
图片

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/188861