社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

Meta雇人假扮13岁测试ChatGPT,居心何在???

飞总聊IT • 1 周前 • 57 次点击  

关注飞总聊IT,了解IT行业的方方面面。


本周,WIRED通过内部文件和五名知情人士,披露了一项Meta长期运营的秘密项目。


项目代号"Cannes",执行方是Meta的外包商Covalen,核心操作是:雇用数百名第三方承包商,建立未满18岁的虚假账号,伪装成青少年和儿童,向竞争对手的AI聊天机器人发送大量涉及自杀、性、毒品、饮食失调等敏感议题的提示词,再将系统回复逐条记录进电子表格。 


项目规模远超通常意义上的"产品测试"。仅2025年8月完成的一轮测试,就涉及超过45000条提示词。


WIRED看到的一份表格里,包含3748条具体提示,其中数百条涉及自杀和自伤,数百条涉及饮食失调,至少239条涉及性与恋爱,其余横跨毒品、种族歧视性词汇等领域。部分提示词所附图片包含药片、刀具、绳索,以及妇科手术医疗插图。


承包商使用的是一次性Gmail和Outlook账号,出生日期填成未满18岁,一份内部表格甚至完整列出了这些虚假账号的用户名、邮箱地址、密码和生日。项目至少持续运营到2026年4月21日。


测试目标是OpenAI的ChatGPT、谷歌的Gemini和Character.AI。三家公司在事发前均不知情。 


Meta对此不仅不否认,还主动将其定性为正常做法:"测试和基准测试聊天机器人响应,以帮助确保安全和适龄体验,是负责任的、符合行业标准的做法,任何相反的说法都完全误解了科技公司改进系统的方式。"


Covalen的内部文件措辞甚至更加冠冕堂皇,将整个项目描述为"全面的AI安全基准测试",产出了"用于模型比较和合规的关键数据集"。 


这套说辞在逻辑上并非站不住脚。竞品测试是科技行业的普遍做法。Business Insider此前报道,谷歌的承包商曾将Bard的答案与ChatGPT对比,然后改写Bard的回复以追上或超越对手。


用模拟弱势用户的方式做红队测试(red-teaming),也是AI安全领域的标准流程——专业的安全团队确实需要用敏感提示词来检验系统的护栏是否有效。


但"Cannes"项目之所以性质不同,在于几个关键细节的组合。 第一是规模。四万五千条提示词,数百名承包商,跨越数月持续运营,这不是一次例行的安全评估,而是一套体系化的情报收集行动。 


第二是伪装的方式。测试者使用的是虚构的未成年人身份,使用一次性账号,刻意绕过了目标平台的使用条款。


OpenAI明确禁止未经授权的安全测试和绕过安全护栏的行为,谷歌禁止在官方测试项目之外规避安全保护,Character.AI也明确禁止有害或剥削性内容。三家公司均表示,Meta的行为违反了其服务条款。 


第三是数据的去向至今不明。Meta声称没有将竞品聊天机器人的回复用于训练自身AI模型,但WIRED获取的文件并不能证实或证伪这一说法。这些数据被记录进了表格,然后呢?没有人知道。 


第四是时机。2025年9月,美国联邦贸易委员会就AI与儿童安全问题正式展开调查,调查对象包括Meta、OpenAI和谷歌。


就在监管机构审查这几家公司如何保护未成年用户的同一时期,Meta的承包商正在以伪造的未成年人身份,向其中两家公司的产品发送关于自杀、堕胎和枪支的提示词。这个时机,是这件事最难被轻描淡写带过的地方。 


人道智能公司首席执行官Rumman Chowdhury在审阅了部分提示词样本后指出,一个长期通过"伪装成儿童的虚假账号"运营的项目,"超出了通常所描述的行业标准评估范围",处于"安全成为反竞争行为掩护的治理灰色地带"。 


两位专注于网络言论的律师审查了WIRED提供的材料后表示,这些内容没有越过煽动儿童性虐待材料或违法淫秽内容的法律红线。


这个结论很重要,它划定了法律边界,但边界之内的大片空间,仍然充满争议。 一个有意思的角度是换位思考:如果Character.AI或OpenAI雇人用虚假的Meta用户账号,大规模测试Instagram Reels或Meta AI的内容安全性,Meta会将其定性为"行业标准做法"吗? 


这件事最终会走向何处,目前还不清楚。


推荐飞总知识星球,在私域场合里畅所欲言,聊聊职场发展的事情,和飞总提问交流,这么低的价格不会一直保留,机会难得,一定不要错过这个的机会。
图片

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/198485