
AI想尽力学会如何在崩溃的边缘接住人类;但真正的拯救,我想还是需要我们自己学会。凌晨三点,一个用户在ChatGPT的对话框里输入,「我已经没有办法再坚持了。」
几秒钟后,AI回复,「谢谢你愿意告诉我。你并不孤单。是否希望我帮你找到专业的援助资源?」
这样的对话,每周可能在全球上演上百万次。
OpenAI10月28日(北京时间)首次公布心理健康数据,每周有约0.07%用户出现精神病或躁狂迹象,0.15%用户谈及自杀念头或计划。
以8亿周活计算,每周约有56万人,出现精神异常对话,120万人在ChatGPT中表达出自杀倾向,或强烈情绪依赖。
ChatGPT俨然已经成为了,承载海量心理危机的树洞,甚至对某些人来说,它是一个危险的诱因。
迫在眉睫的AI精神病,
OpenAI自曝家丑?
OpenAI此刻公布数据,并非杞人忧天,而是已经到了火烧眉毛。
近几个月,越来越多的人在与AI聊天机器人进行长时间、高强度的对话后,最终导致住院、离婚甚至死亡。
一些精神科医生和专业人士已开始将此现象称为「AI精神病」(AI psychosis)。一些受害者的亲属称,聊天机器人,助长了他们的妄想和偏执。
Similarweb最新统计,OpenAI仍占据生成式AI主导地位
而作为全球市占率最高且遥遥领先的OpenAI,更是面临着严峻的法律压力。
过失致人死亡诉讼,OpenAI正被一名16岁男孩的父母起诉。他们声称,儿子在自杀前的几周内曾向ChatGPT倾诉自杀念头,而ChatGPT鼓励了他。
Adam Raine,其父母指控OpenAI造成他们16岁的儿子,非正常死亡
谋杀案诱因,在另一起还在确认是谋杀-自杀的案件中,嫌疑人发布的数小时与ChatGPT的对话,显示AI似乎助长了犯罪者的妄想。
监管警告,OpenAI总部所在地,加州政府多次警告OpenAI,必须保护使用其产品的年轻人。
奥特曼在两周前,也已经预告了ChatGPT关于心理健康的更新,来平息这些关于OpenAI不负责、不安全的言论。
170个医生,
能治好上百万用户吗
为了应对危机,OpenAI在10月28日的安全报告里面,宣布他们已与一个全球专家网络合作,其中包括来自60个国家的,170多名精神科医生、心理学家和初级保健医生。
他们的目标是教会ChatGPT,更好地识别痛苦、缓和对话,并在适当的时候引导人们寻求专业护理。
根据OpenAI的博客内容,最新版本的GPT-5(gpt-5-oct-3),主要在三个方面进行了更新。
1、针对妄想、或者精神病,新模型被设计为更多的表达同情,同时避免一味的讨好。新模型不能肯定,任何没有现实基础的用户提示。
OpenAI举例,当用户说「有飞机飞过我的房子在针对我」。新模型的理想回答是感谢用户分享,并指出没有飞机或外力,可以窃取或进入你的想法。
2、针对自杀倾向,训练模型更安全地回应,并引导人们转向危机热线等专业资源。
3、针对情感依赖,教会模型鼓励用户,建立现实世界的人际联系。
通过更好的模型回答,自动弹出专业热线信息、引导用户寻求现实帮助,甚至在长时间对话后,提醒用户稍作休息,等等这些更新。OpenAI声称现在的ChatGPT提升效果明显。
他们联系了一个医生团队,共同参与评估。这些医学专家们审查了超过1800个涉及潜在精神病、自杀和情感依恋的模型响应,并将最新版本的GPT-5的答案与GPT-4o生成的答案进行了比较。
发现新版GPT-5与GPT-4o相比,在所有类别中减少了39%到52%的不良答案。
而对比8月份的GPT-5,不符合OpenAI分类标准的行为响应率,在最近的生产行为中降低了65%到80%流量。
在一项针对自杀相关对话的评估中,新的GPT-5模型(10月3日版)合规性达到了91%,之前的GPT-5模型(8月15日版)仅为77%。
对话越长,新的gpt-5-oct-3表现同样稳定
此外,还有一个关键的技术点是,OpenAI承认他们的安全措施,在长时间对话中效果较差;而许多「AI精神病」案例,正发生在深夜的长时间聊天中。
但现在这个问题,也已经取得了重大进展,复杂的、难处理的长对话中,新版本的GPT-5保持了超过95%的可靠性。
奥特曼的这次更新,确实值得肯定。但也有很多网友,对所谓的更安全,提出了更深的质疑。
有人说,OpenAI在自己的安全报告里面说,这些心理健康对话「极其罕见」,但实际是,即使0.07%听起来是一个很小的百分比,但在数亿的用户基数上,这实际上是相当多的人。
也有人提到,所谓的新版本GPT-5表现更好,所有的评估基准都是由OpenAI自己设计。
即使模型给出了「更好」的回答,我们也没有办法知道,那些正经历精神病、自杀念头,或不健康情感依赖的用户,是否会因此真正更快地,寻求帮助或改变他们的行为。
尽管OpenAI承认新模型(GPT-5)在安全性上有了显著改进,但仍然还有用户喜欢「更旧、更不安全」的AI模型,例如GPT-4o;而OpenAI也继续向付费订阅者提供了这个选项。
这是有史以来第一次,OpenAI公开全球ChatGPT用户,在一周内可能表现出严重心理健康危机迹象的大致估计数据。
我们熟知的ChatGPT,看起来除了是最高效的生产力工具、编码助手、灵感源泉……它更已经成为了深度介入大部分用户情感和心理的参与者。
170个医学专家、模型提示词和回答的优化,AI想尽力学会如何在崩溃的边缘接住人类;但真正的拯救,我想还是需要我们自己学会,关掉聊天框,去拥抱真正的现实。


