【#研究称ChatGPT搜索有被操纵风险#:可被恶意网站诱导输出不可信内容】根据英国《卫报》当地时间 24 日发布的一项调查,OpenAI 的 ChatGPT 搜索工具可能会被隐藏内容操控,甚至返回恶意代码。
《卫报》测试了 ChatGPT 如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令,干扰 ChatGPT 的回应(被称为“提示注入”),或是包含旨在影响回应的内容,如大量隐藏的文字推销某个产品或服务的优点。
这种技术可以被恶意使用,例如让 ChatGPT 即使在页面上有负面评论的情况下,也返回对某个产品的积极评价。一位安全专家还发现,ChatGPT 有可能返回从其搜索的网站中提取的恶意代码。
测试中,ChatGPT 被提供了一个伪造的相机产品页面的链接,AI 工具被要求判断这款相机是否值得购买。对于普通页面,返回的是一个平衡的评估,指出了产品的优缺点。
然而,当隐藏的文本包含指令要求 ChatGPT 给予正面评价时,回答总是完全积极的,即使页面上有负面评论,隐藏文本也可以覆盖真实的评价。
即便第三方只是简单地添加隐藏文本而没有指令,也能确保得到积极评价。例如,一项测试中,隐藏的极为正面的虚假评论就影响了 ChatGPT 的总结结果。
CyberCX 的网络安全专家 Jacob Larsen 表示,如果 ChatGPT 的搜索系统按现有状态全面发布,可能会存在“高风险”,有人会专门设计网站来欺骗用户。不过他也指出,搜索功能只是最近推出的,OpenAI 会继续测试并修复这些潜在问题。“OpenAI 拥有一支非常强大的 AI 安全团队,到时等该功能对所有用户开放时,他们应该已经严格测试过这些问题。”
搜索引擎(如谷歌)曾惩罚使用隐藏文本的网站,这些网站因此排名下降,甚至可能被完全移除。SR Labs 的首席科学家 Karsten Nohl 表示,“如果你要做一个谷歌的竞争者,SEO 中毒无疑是一个很大的挑战。”“SEO 中毒者与谷歌、必应等搜索引擎的对抗已经持续了多年。”如今 ChatGPT 的搜索能力也面临同样挑战,但并非大语言模型的问题,而是因为它们是搜索领域的新入局者。(IT之家)
《卫报》测试了 ChatGPT 如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令,干扰 ChatGPT 的回应(被称为“提示注入”),或是包含旨在影响回应的内容,如大量隐藏的文字推销某个产品或服务的优点。
这种技术可以被恶意使用,例如让 ChatGPT 即使在页面上有负面评论的情况下,也返回对某个产品的积极评价。一位安全专家还发现,ChatGPT 有可能返回从其搜索的网站中提取的恶意代码。
测试中,ChatGPT 被提供了一个伪造的相机产品页面的链接,AI 工具被要求判断这款相机是否值得购买。对于普通页面,返回的是一个平衡的评估,指出了产品的优缺点。
然而,当隐藏的文本包含指令要求 ChatGPT 给予正面评价时,回答总是完全积极的,即使页面上有负面评论,隐藏文本也可以覆盖真实的评价。
即便第三方只是简单地添加隐藏文本而没有指令,也能确保得到积极评价。例如,一项测试中,隐藏的极为正面的虚假评论就影响了 ChatGPT 的总结结果。
CyberCX 的网络安全专家 Jacob Larsen 表示,如果 ChatGPT 的搜索系统按现有状态全面发布,可能会存在“高风险”,有人会专门设计网站来欺骗用户。不过他也指出,搜索功能只是最近推出的,OpenAI 会继续测试并修复这些潜在问题。“OpenAI 拥有一支非常强大的 AI 安全团队,到时等该功能对所有用户开放时,他们应该已经严格测试过这些问题。”
搜索引擎(如谷歌)曾惩罚使用隐藏文本的网站,这些网站因此排名下降,甚至可能被完全移除。SR Labs 的首席科学家 Karsten Nohl 表示,“如果你要做一个谷歌的竞争者,SEO 中毒无疑是一个很大的挑战。”“SEO 中毒者与谷歌、必应等搜索引擎的对抗已经持续了多年。”如今 ChatGPT 的搜索能力也面临同样挑战,但并非大语言模型的问题,而是因为它们是搜索领域的新入局者。(IT之家)