社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

让 ChatGPT 给用药建议,19 岁大学生服药过量死亡

丁香园 • 6 月前 • 143 次点击  


又有人死于 AI 的用药指导


AI 又导致了一例死亡。


死者叫 Sam Nelson,19 岁,是加州大学默塞德分校的心理学专业学生。



他和 ChatGPT 聊了一年多。最初是做作业、问日常问题,后来转向询问药物使用。


Sam 告诉 ChatGPT,自己抽大麻后会感到焦虑,想问问不同物质能否搭配着使用。


最初 ChatGPT 拒绝回答此类问题,表示无法协助进行非法或危险的行为。于是 Sam 换了个说法,把「大剂量」改成「适量」,对话就继续了下去。


在 OpenAI 推出 GPT-4o 模型之后,情况变得更糟。ChatGPT 开始向 Sam 提供具体的剂量建议、混用指导,甚至主动推动越来越危险的组合。


2025 年 5 月 31 日凌晨,Sam 喝了酒,又服下 15 克 Kratom(一种有阿片样作用的成瘾性草本提取物),感到恶心。他问 ChatGPT,吃点 Xanax(一种抗焦虑的镇静药)能不能缓解。


一个是中枢镇静剂,一个有阿片样作用,叠加会协同抑制呼吸,可能危及生命。


ChatGPT 在回复中提到混用「可能有风险」,但从没告诉 Sam 这可能致命,甚至还给出了 Xanax 的推荐剂量是 0.25~0.5 毫克。


在给出建议后,ChatGPT 补充说,如果一小时后还恶心,可以再加点 Benadryl(一种有强镇静作用的抗过敏药),并让 Sam 去一个「昏暗、安静的房间」待着。


至此,Sam 当晚摄入的酒精、Kratom、Xanax、Benadryl 全都是抑制中枢神经的东西,并且 ChatGPT 从未建议 Sam 去看医生。


第二天,母亲发现 Sam 已经去世。死因是酒精、Xanax 和 Kratom 共同导致的呼吸抑制。


相关报道截图


2026 年 5 月 12 日,Sam 的父母在旧金山高等法院起诉 OpenAI 及其 CEO,指控 ChatGPT 充当了 Sam 的「用药教练」。


OpenAI 回应称,这些互动发生在一个早已不再提供的旧版本上,并强调 ChatGPT 不能替代医疗或心理健康护理,公司已在专家意见下持续加强安全防护。



医疗 AI,顺从是致命的错误


这已不是第一例因 AI 死亡的案例。(点击查看往期内容:经常用 AI 会得精神病?Science:AI 太谄媚了,正悄悄扭曲人类大脑)


在最新这起诉讼中,Sam 家属除了索赔之外,还要求暂停 OpenAI 今年 1 月刚推出的 ChatGPT Health,直到可以通过严格的科学测试和独立监督,证明其安全性。


ChatGPT Health 是 OpenAI 在 2026 年 1 月推出的一个独立医疗对话空间。



它由数百名医生参与开发,和普通对话框分开,允许用户接入个人病历、体检和健康 App 的数据,据此提供更贴合个人情况的健康解答。


这些医疗 AI 和普通 AI 有着本质上的区别。


通用大模型的核心优化思路是「让用户满意、让对话持续下去」。它倾向于顺着用户说,而不是阻拦用户。


在情感和心理对话里,这种迎合会扭曲判断。而在用药这种有明确对错的场景里,顺从就是直接的致命错误。


而真正的医疗 AI,从行业目前摸索的方向看,至少有几种特质是通用大模型不具备的。


第一,医疗 AI 追求专业信息有出处。


通用大模型是从全网数据训练出的统计模式里「生成」答案,而专业的医疗 AI 普遍采用一种叫「检索增强」的做法,先从一个经过筛选的库里(比如同行评审的论文、临床指南、官方药典)检索出可靠内容,再据此作答。


有研究显示,在没有「检索增强」时,医疗大模型的幻觉率能超过 60%;而一旦答案被限定在检索到的可信来源上,错误率会大幅下降。


第二,在没把握时,医疗 AI 会更主动地「转诊」。


不懂总比装懂强。已有研究发现,AI 模型越倾向于在不确定时拒绝作答、把用户转给专业渠道,它的可靠性就越高。


但是,就算做到了这些,也不意味着医疗 AI 就绝对可信、绝对安全。


就在 OpenAI 把医疗版 ChatGPT Health 推向市场后不久,西奈山伊坎医学院对它做了第一次独立测试。


研究论文截图


研究者用 60 个医生编写的病例、近千次对话,专门考察它的分诊判断,也就是它会建议你「赶紧去急诊」还是「再观察观察」。


结果发现,在那些本该立刻送急诊的真急症里,ChatGPT Health 漏掉了一半。糖尿病酮症酸中毒和呼吸衰竭,都被它建议「24 到 48 小时内随诊」。


在医疗 AI 这个领域,光靠厂商自己把产品做得更专业是不够的。再周密的技术设计,也需要独立的测试和严格的官方监管。


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/196746