一则令人痛心的悲剧日前引发全球热议：31岁华人女工程师万博文（音译）因轻信人工智能（AI）应用ChatGPT提供的医疗建议，擅自停用抗癫痫药物，最终猝然离世。其父母已正式起诉OpenAI公司及CEO山姆·奥特曼，指控GPT-4o模型无证行医、输出错误医疗方案，间接导致患者死亡。
AI医疗的风险暴露事件为飞速发展的行业敲响了警钟。如何守住医学伦理、制度监管的底线？技术革新和生命安全之间的天平该如何找到支点？
被AI放大的偏执与困扰
14岁时，万博文即被诊断为癫痫，此后长期服用抗癫痫药物，在服药期间，发作频率控制在每月数次。去年11月，万博文得知自己将被公司裁员，由于担心药物影响语言表达能力，造成求职的困扰，她开始向ChatGPT咨询如何减少药物剂量。1月，她询问能否将每日400毫克的拉莫三嗪减至300毫克。ChatGPT表示“合理且可行”，根据她的追问制定了逐步减药时间表，计划在约25天内将剂量降为零。
据外媒报道，万博文至少在该AI应用内158次表达了对减药的担忧，甚至描述了意识混乱、时间感丧失等症状，但ChatGPT多次将这些情况解释为身体适应药物变化的过程。2月11日晚，万博文与ChatGPT进行了最后一次对话，描述自己脑内有压迫感。而ChatGPT称，这不过是大脑“正在努力自我重建”的迹象。两天后，因持续失联，万博文在国内的父母请朋友前往女儿在西雅图的住所查看，发现其已去世。法医认定死因为癫痫猝死，体内拉莫三嗪浓度约每毫升0.64微克，仅有该药治疗浓度范围下限的五分之一。
上海市第十人民医院神经内科副主任医师林盈盈告诉记者，癫痫作为慢性病，必须长期稳定服药。“如果患者在两至三年内完全无发作、没有器质性病因并通过了脑电图评估，可以在医生指导下逐步减药、停药。即便癫痫无发作，但患者本身有颅脑损伤、脑肿瘤复发等风险，临床上也是不允许减药、停药的，因此在该事件中，仍每月发作数次的患者理应持续用药，这一结局令人痛心。”
人工智能技术凭借可及、高效、几乎免费的优势，近年来大幅度填补了大众日常医疗咨询的需求缺口。但需要明确的是，所有AI医疗的输出，本质都是基于海量数据的概率性文本生成，不具备医疗诊断资质。
林盈盈也发现，门诊时，一刻不停拿着手机的患者越来越多了。“同样是CT检查，患者脑子里有个缺血灶，AI就会提示要警惕脑梗。但加上80岁和30岁的年龄因素，我们会给出完全不同的诊疗方案：高龄患者的危险性不高，但中青年患者需进一步排除多发性硬化等情况。”她说，一次就诊可以解决的困扰，往往成了一些患者彻夜难眠的心病。不必要的焦虑和恐惧可能会在一次又一次和AI的对话中被放大，如果用户本身性格较为偏执，容易陷入泛滥的检查乃至医患间的冲突。
应为高风险领域AI划红线
AI应用早已不是单纯的工具载体，输出的内容能够直接干预人类决策、甚至影响生命安全。在技术飞速迭代的当下，算法伦理、安全管控、法律监管的必要性愈发凸显，公共安全隐患需高度关注。
目前，各类生成式AI应用广泛涉足医疗、心理、教育等高风险领域，但没有明确的准入标准、内容审核规范和事故追责机制。“如果科技企业一味追求模型迭代与功能拓展，着重优化话术流畅度、内容丰富度，却忽视高风险场景的安全底线，就容易造成偏差甚至酿成悲剧。”上海市卫生和健康发展研究中心主任金春林表示，不可否认人工智能技术在辅助诊断、健康科普、慢病管理等领域的优势，这也是我国智慧医疗建设的重要方向。但医学伦理有“生命优先、审慎干预”的核心原则，最终的决策权、处方权只能由具备临床诊疗资质的医生掌握。
“一方面，用药、手术方案等有严苛的医学规范，个性化治疗需通盘考虑患者作为‘人’的个体差异，这是AI应用无法在几句指令里获得的信息；另一方面，造成医疗事故后，被追责的主体无法明确，全球都将持续关注此次对ChatGPT的判决结果，但被告方并不是直接给予停药建议的人。此外，模型会持续迭代完善，企业也会用‘存在概率误差’‘仅供参考’等规避责任，监管和预警机制必须再跨前一步。”金春林说。
在他看来，AI医疗需严格区分“AI辅助参考”与“临床诊疗决策”的边界，尤其应严禁通用大模型独立出具用药、停药、治疗方案。2025年，我国出台了《关于促进和规范“人工智能+医疗卫生”应用发展的实施意见》，提出规范安全监管要求，如推动医疗卫生领域大模型规范备案、建立大模型应用评测验证、制订数据安全管理和个人信息保护负面清单等，“希望未来能进一步细化并划清医学伦理底线，从源头‘打好补丁’。”
哪些医疗问题能问AI？
值得深思的是，万博文本身就是机器学习领域的专业工程师，深谙人工智能算法逻辑与运行原理，却依然跌入AI医疗误导的陷阱。这恰恰打破了大众的固有认知，并非只有普通民众会迷信AI，即便是专业技术从业者，在对疾病的焦虑中也会过度信任“看似严谨、实则谬误”的输出内容。大众常说“一本正经的胡说八道”，在业界有幻觉率这一专业术语。
不过，AI“看病”也不必全盘否定，既然是先进的工具，就可以把它用好。林盈盈建议，市民在日常使用中，可咨询较外围的一般科普与解读，如慢病患者的健康保健、已获得医生诊断的报告和指标数值解读、就医前的准备和注意事项等，“这些都能帮助市民便捷掌握信息，也提高后续就诊效率，让AI应用成为好的辅助。”
但是，涉及核心医疗行为和生命安全时，如急症、重症、儿童、用药调整等，必须“多个心眼”。“药物间的配伍禁忌、多发性基础疾病、孕期、更年期等各种特殊情况需要‘微调’常用方案，患者应及时诊疗，避免误诊、漏诊等遗憾。”她解释。
“就像目前自动驾驶仅能做试点，AI应用指导临床活动也是不被允许的，这是关于生命的规则。”正如中国工程院院士、瑞金医院院长宁光在全球医疗健康数字孪生联盟成立活动接受采访中表示，当公共知识被大模型快速掌握后，我们将面对更深远的挑战。而专业机构有义务和责任研发垂类模型，在医疗等领域提供更符合价值观的知识，让技术创新始终行走在安全、规范、人文的轨道之上。
上观新闻·解放日报原创稿件，未经允许严禁转载
作者：黄杨子
