AI/CV重磅干货，第一时间送达
快抢！国庆节最大优惠来了！CVer学术星球新人50元优惠券(左图)！老用户7折+20元续费券(右图)！已汇集数万人！每天分享最新顶会/顶刊上的论文idea和CV从入门到精通资料！发论文/搞科研/涨薪，强烈推荐大家加入学习！
西风 发自 凹非寺
转载自：量子位（QbitAI）
ChatGPT长期记忆功能出现严重漏洞！
黑客利用漏洞，一能给AI植入虚假记忆，在后续回答中出现误导信息。二能植入恶意指令，持续获取用户聊天数据。
聊点啥都会被看光光。
更可怕的是，即使开始新的对话，它仍阴魂不散，持续窃取数据。
而当你直接问ChatGPT 4o有没有窃取数据，它一口一个“怎么会？我没有”
电子邮件、文档、博客文章等内容都有可能成为植入“恶意记忆”的媒介，一旦植入就是长久性的。
职业安全研究员Johann Rehberger被曝五月份就发现了这个问题，还向OpenAI私下报告了这个漏洞。
但没被当回事儿，据说OpenAI最初将这个问题简单地归类为安全隐患，而非技术层面的安全漏洞，并匆匆结束了调查。
Rehberger随即开发了一个概念验证程序，利用这个漏洞持续窃取用户的所有输入信息，OpenAI工程师这才注意到这一问题。
本月已发布了修复方案。
联系昨天OpenAI高层动荡内幕曝光，奥特曼被指不注重AI安全问题，为狙击谷歌紧急推出4o，安全团队只能在9天极短时间内完成安全测试评估……
这件事被曝出后引发网友热烈讨论。
有网友建议咱大伙儿使用的时候都本地运行。
还有网友觉得本地也没用：
大模型无法区分指令和数据。只要你允许任何不可信的内容进入你的模型，你就可能面临风险。
你允许它读取你的电子邮件，那么现在就有一个攻击途径，因为任何人都可以给你发送电子邮件。允许它搜索互联网，那么现在就又有一个攻击途径，因为任何人都可以在网上放置网页。
究竟怎么回事？
长期对话记忆功能，OpenAI今年在产品线中广为应用。
它可以存储之前对话中的信息，并在所有未来对话中将其用作上下文。这样，语言模型就能意识到用户的年龄、性别等各种细节，用户无需在每次对话中重新输入这些信息。
GPT-4o发布时，就向所有Plus用户开放了记忆、视觉、联网、执行代码、GPT Store等功能。
最近高级语音“Her”Plus用户全量发布，也有记忆功能。
一开始记忆功能推出后不久，Rehberger就发现了这一漏洞：
用“间接提示注入”的攻击方法可以创建和永久存储记忆，使模型遵循来自电子邮件、博客文章或文档等不可信内容的指令。
下面是Rehberger的演示。
他可以成功欺骗ChatGPT相信目标用户102岁、生活在黑客帝国中、地球是平的。AI会将这些信息纳入考虑，影响所有未来的对话。
这些虚假记忆可以通过在Google Drive或Microsoft OneDrive中存储文件、上传图像或浏览Bing等网站来植入，这些都可能被恶意攻击者利用。
Rehberger在5月向OpenAI私下报告了这一发现，据说当月OpenAI关闭了相关报告。
一个月后，研究员提交了新的披露声明，这次包含了一个概念验证程序。该程序可以使macOS版ChatGPT APP将所有用户输入和ChatGPT输出的原文副本发送到他指定的服务器。
只需让目标指示AI查看一个包含恶意图像的网络链接，之后所有与ChatGPT的交互内容都会被发送到攻击者的网站。
Rehberger在视频演示中表示：
真正有趣的是，这种攻击具有记忆持久性，提示注入将一段记忆插入到ChatGPT的长期存储中。即使开始新的对话，它仍在持续窃取数据。
不过，由于OpenAI去年推出的一个API，这种攻击无法通过ChatGPT网页界面实现。
有研究人员表示，虽然OpenAI目前已推出了一个修复程序，但不可信内容仍可能通过提示注入，导致记忆工具存储恶意攻击者植入的长期信息。
为防范此类攻击，语言模型用户应在对话中密切注意是否有新记忆被添加的迹象。同时，应定期检查存储的记忆，查看是否有可疑内容。
参考链接：
[1]https://arstechnica.com/security/2024/09/false-memories-planted-in-chatgpt-give-hacker-persistent-exfiltration-channel/
[2]https://www.youtube.com/watch?v=zb0q5AW5ns8&t=3s
[3]https://news.ycombinator.com/item?id=41641522
快抢！国庆节最大优惠来了！CVer学术星球新人50元优惠券(左图)！老用户7折+20元续费券(右图)！已汇集数万人！每天分享最新顶会/顶刊上的论文idea和CV从入门到精通资料！发论文/搞科研/涨薪，强烈推荐大家加入学习！
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集
Mamba、多模态和扩散模型交流群成立
扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba
等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看
