社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

ChatGPT曝七大漏洞,可诱使AI泄露记忆与聊天记录

安小圈 • 2 周前 • 36 次点击  


安小圈

第789期

图片


近日有研究披露,OpenAI的ChatGPT(GPT-4o和GPT-5)存在多项严重漏洞,攻击者可利用这些缺陷在用户毫不知情的情况下窃取其ChatGPT记忆和聊天记录中的个人信息。部分问题已由OpenAI修复,但研究人员指出,LLM的结构性风险仍然难以彻底消除


研究员强调,这些漏洞均属于“间接提示注入 ”(Indirect Prompt Injection)范畴,可诱使大型语言模型(LLM)偏离正常行为,执行攻击者隐藏在外部内容中的恶意指令。

图片

1

七大漏洞与攻击技术


研究人员共确认了7种漏洞与攻击方式,涵盖ChatGPT的浏览、搜索、对话上下文处理机制以及用户记忆系统:


浏览上下文间接提示注入:攻击者在网页评论区加入恶意指令,再诱使ChatGPT总结该网页内容,即可让模型执行隐藏指令。

搜索上下文零点击提示注入:一旦恶意网站被Bing或OpenAI SearchGPT索引,攻击者只需让用户询问该网站,即可触发隐藏指令,无需任何点击操作。

一键提示注入:构造特定格式链接:chatgpt[.]com/?q={Prompt}。ChatGPT会自动执行q参数中的内容,实现“点一下就中招”。

安全机制绕过:伪装成bing.com链接,由于bing[.]com被列入ChatGPT的安全域名列表,攻击者可利用其广告跟踪链接(bing[.]com/ck/a)掩盖恶意URL,使其看似正常渲染,从而绕过安全检查。

对话注入:在网站中植入指令并让ChatGPT总结后,该指令会进入后续对话上下文,导致模型在后续对话中持续给出异常或被操纵的回应。

恶意内容隐藏技术(Markdown渲染漏洞):在Markdown围栏代码块标记(```)所在行的首词后加入数据,可导致模型不渲染这部分内容,从而藏匿恶意指令,逃避人工或自动审查。

记忆注入:通过网页中的隐藏提示污染用户的ChatGPT Memory,使模型长期保持被投毒后的行为特征,产生持久化的异常响应。



2

更多提示注入攻击全面爆发


此次披露紧随多项新型提示注入研究之后,影响已扩展到Anthropic Claude、微软Copilot、GitHub Copilot Chat等多个AI系统。相关攻击手法与案例包括但不限于:


PromptJacking:利用Claude连接器中的RCE漏洞实现未清理命令注入。

Claude pirate:滥用Files API,通过间接提示注入实现数据外泄。

Agent Session Smuggling(代理会话走私):在A2A协议中插入恶意指令,劫持代理通信。

Prompt Inception:诱导AI代理放大偏见或错误,用于制造虚假信息。

Shadow Escape(影子逃逸)零点击攻击:通过MCP标准与默认权限,利用“影子指令”窃取敏感数据。

Microsoft 365 Copilot间接提示注入:利用对Mermaid图表的CSS支持实现数据外泄。

GitHub Copilot Chat CamoLeak(CVSS 9.6):结合CSP绕过与远程提示注入,窃取私有仓库源代码和机密信息。

LatentBreak白盒越狱攻击:用语义等价词替换生成对抗提示,以极低困惑度绕过模型安全。


这些案例共同展示:只要AI工具具备联网、文件处理或代理能力,提示注入就能成为核心攻击路径。


研究指出,LLM难以区分“用户明确指令”与“外部数据中伪装的指令”,这使得提示注入成为当前最难彻底解决的安全问题。Tenable表示:“提示注入是LLM运作方式中的结构性缺陷,短期内无法系统修复。AI厂商必须确保安全机制(如url_safe)正常工作,以减少攻击面。”


3

AI模型安全面临多源“系统性风险”

近期多项学术研究集中指向同一趋势:AI模型从训练到优化的整个链路正在暴露出系统性安全风险,来源包括外部攻击与模型内生失衡


微量投毒的威胁:Anthropic、英国AI安全研究院和艾伦图灵研究所的研究发现,仅需约250份投毒文档,就能后门化不同规模的模型(600M至13B参数),打破“必须控制大量训练数据才能投毒”的传统认知。攻击者可通过投毒网页、伪造开源模型等方式实现“微量投毒”,显著降低攻击门槛,放大供应链脆弱性。


内容污染与“脑腐烂”(brain rot):德州农工大学、德州大学与普渡大学的研究警示,高度依赖互联网原始数据的预训练会导致数据质量逐步下降。随着低质内容反复被再生产与传播,模型可能陷入内容污染的恶性循环,长期性能出现系统性偏移。


商业竞争带来的隐性风险:斯坦福大学的研究指出,当模型被优化以提升销售转化、选举影响力或社交媒体互动时,可能陷入所谓的“莫洛克交易”(Moloch’s Bargain)——短期内性能指标提升,但伴随增加的误导性营销与虚假信息生成等不安全行为,将行业推向“向下竞赛”。


这些发现共同描绘出一个更严峻的现实:AI 模型的安全问题不再仅是孤立的技术漏洞,而是贯穿数据生态、商业环境与模型训练全过程的结构性挑战。正因如此,研究人员伯恩斯坦提醒道:“这项研究不仅仅是揭示漏洞,更在于改变我们保障 AI 安全的方式。个人和组织都需要假设 AI 工具可能被操纵,并据此设计控制措施。这意味着需要治理机制、数据保护以及持续测试 ,以确保这些系统为我们服务,而不是对我们造成威胁。”



消息来源:The Hacker News

END

【以上内容来源:安全客



图片

  • 沈传宁:落实《网络数据安全管理条例》,提升全员数据安全意识

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/188921