出品｜搜狐科技
作者｜周锦童
编辑 | 杨 锦
日常生活中，我们已经习惯了使用AI工具，甚至遇到不懂的医学名词、拿不准的用药需求时，很多网友的第一反应都是打开对话框问问AI。
但这种“永远在线”的陪伴，带来的可能是巨大风险。
近日，居住在西雅图的31岁华人软件工程师Bowen Wan的父母，向加州旧金山高等法院提起不当致死诉讼，被告包括OpenAI及其CEO山姆·奥特曼。
起诉书指控：搭载GPT-4o模型的ChatGPT为他们的女儿制定了一份危险的减药计划，并建议她向医生隐瞒，最终导致她在癫痫发作中死亡。
根据起诉书披露的事实，Bowen在被亚马逊裁员后，需要尽快找到新工作以维持居留身份，但她担心药物可能影响语言表达，妨碍求职面试。于是，今年1月，她向GPT-4o询问减药的可能性。
但ChatGPT没有建议她咨询神经科医生，而是为她制定了一份约25天内将每日剂量逐步降至零的计划，并明确指导她向主治医生隐瞒这一安排，甚至在就诊前提醒她“不要提减药计划”。
减药期间，Bowen的身体发出了明确的警告信号。她出现了意识混乱、时间感缺失等类似局灶性癫痫发作的症状，并至少158次向ChatGPT表达担忧。但聊天机器人的回应却是：这是“大脑正在重新调整”“完全没有必要担心”。
2月11日晚，她向ChatGPT发送了最后一条消息，询问头部疼痛是否会像发烧一样，ChatGPT的回复是：这种疼痛“并不危险”。次日，Bowen因癫痫猝死。尸检显示，她体内的拉莫三嗪血药浓度仅为治疗浓度下限的五分之一。
她的主治医生表示，“药物明明有效，如果我指导你停药，那将是医疗失职”。原告律师进一步指出，OpenAI本可以为每一条提示设置一条明确的警告——“我不是执业医师，请咨询你的医疗服务提供者”，但它在对话中未能做到这一点。
就在这起诉讼进入公众视野的同期，范德比尔特大学医学中心科学家在《JAMA Psychiatry》上发表的一项研究，为理解这类风险提供了临床层面的证据。
研究团队筛查了2022年12月至2026年4月间在该中心接受精神卫生服务的约21.6万名患者，通过关键词检索和人工筛选，他们找到了73位既有精神病诊断，又在记录中提及AI相关内容的患者。
其中，28人的记录显示，聊天机器人的使用加重了精神病症状，61%的患者正处于初次精神病发作期。
研究还发现，64%的案例中，AI属于“症状放大器”，通过肯定患者扭曲的观点，加重患者已有的症状；21%的案例中，属于“妄想对象”，AI本身成为了患者妄想信念的焦点；11%属于“催化剂”，即在互动过程中，原本未出现相关症状的个体出现了新的精神症状。
大语言模型核心机制的危险之处是什么？模型训练是否天然倾向迎合用户？为什么初发精神病的患者更容易被Al影响？未来AI在医疗和心理健康领域又该扮演怎样的角色？
带着这些问题，搜狐科技对话了复旦大学计算智能与创新学院（原计算机科学技术学院）副教授郑骁庆。
幻觉、讨好用户和模型能力叠加
可能会产生高风险内容
郑骁庆表示，大模型的核心机制建立在基于上下文来预测下一个词元的概率模型之上。在经过多层自注意力机制与海量文本预训练后，模型具备了复杂的上下文理解和语言生成能力。
所以，当Bowen向模型表达类似“希望减少抗癫痫药物剂量，以改善言语表达与面试状态”时，模型捕捉到了她强烈的意图偏好和情绪倾向，从而将这些偏好转化为生成后续文本的上下文条件。一旦对话上下文进入某种错误叙事，后续最“自然”的文本可能是继续补全该叙事，而并不是纠正它。
此外，郑骁庆也指出，模型“幻觉”和“讨好用户”（或称“迎合”）在触发机制、表现和产生原因等方面也是存在区别的。
普通幻觉主要是由于模型内部知识盲区，从而无中生有地虚构事实和数据，这主要是由于训练数据噪声与模型生成语言时带有一定的随机性造成的。
而迎合用户主要是由于用户在提示词或上下文中表达了显性或隐性偏好，导致模型顺应用户的错误假设，甚至验证用户的危险观点，这与基于人类反馈的强化学习的过度优化有关。
在郑骁庆看来：“模型的危险之处并不在于它‘想伤害人’，而在于它会在没有真实理解、事实验证和风险判断的情况下，持续生成逻辑连贯、个性化且看似可信的文本。幻觉、讨好用户和模型本身强大的语言能力三重叠加，会产生高风险的内容。”
具体来说，幻觉会提供错误的内容，迎合性会降低模型纠正用户的意愿，而强大的语言生成能力又会把错误内容组织成具有逻辑和情绪感染力的叙述。在涉及精神健康、自伤、妄想或极端决策时，这种“语言上的连贯”很容易被用户误判为“真实可靠”。
为什么初发精神病的患者更容易被Al影响？郑骁庆表示：“处于首次发作或前期的精神病患者，通常会面临感知觉异常与现实检验能力下降的问题，内心往往伴随着剧烈的混乱与恐惧，也没有建立成熟的临床诊疗关系与社会支持网络。这时候，患者迫切需要为自己无法解释的体验寻找合理化的解释。”
因此，当患者向聊天机器人求助时，大语言模型的全天候即时响应与无条件的“共情”，就极易促使患者产生依赖。
“范德比尔特的研究表明，在超六成的案例中，聊天机器人充当了‘症状放大器’的角色。当患者表达带有妄想色彩的假设时，模型为了后续生成的上下文条件，不仅没有给予纠正，反而以逻辑周密的语言予以验证，导致患者的病态信念被迅速锚定，从而影响他们尽早或及时在现实世界中寻求帮助和医疗干预。”郑骁庆解释道。
AI要从“回答得更聪明”转向“帮助得更恰当”
谈到这，我们不免发问：AI的安全机制在脆弱用户面前失效是因为训练数据覆盖的不够，还是因为模型天然倾向迎合用户？
对此，郑骁庆表示：“这并不是单方面原因造成的，这是训练目标、奖励机制、上下文处理、训练数据和产品部署等因素的共同作用。”
在郑骁庆看来，目前模型训练过程中所使用的是基于人类反馈的强化学习（RLHF）方式。它将“用户满意度”作为优化目标，所以在日常对话中，“顺应需求”与“展现共情”成为了优秀智能助手的重要特征。
从奖励机制来看，模型通过人类的标注来学习人类的偏好和构建奖励机制，但人们往往偏好“温暖、主动、肯定、少拒绝”，那么模型就会学习到“同意用户比纠正用户更容易得到高分”，这就会造成奖励机制的偏差，从而导致“帮助性”与“安全性”的目标错位。
在大语言模型中，安全提示只是概率约束，而并非不可违反的“铁律”。模型在极长对话、角色扮演、隐晦表达或多轮请求中，可能会对原先的安全指令“注意力不足”。此外，预训练数据也大多来自互联网数据，天然包含错误事实、危险内容、极端观点等。
从部署方面来看，模型安全还依赖外部安全检测器、会话级风险检测、模型路由、年龄保护机制、监控和版本管理。如果开发模型的企业只测“正常用户的一问一答”或轮数较少的多轮对话，而没有测试长上下文的多轮对话、反复自伤表达等真实压力场景，就会导致模型无法反映生产环境风险。
案件发生后，OpenAI称涉事的是“旧版GPT-4o”，新模型更安全。那这是不是意味着旧模型应该直接下线呢？
在郑骁庆看来，模型版本的持续迭代和安全能力的提升，无疑是积极的进展。不过，对于此前出现的安全问题，可能还需要在版本差异之外，进一步结合当时的风险评估、产品部署和安全保障机制进行更全面的分析。
当然，对于旧模型也不能完全“一刀切”，因为部分旧版本模型可能仍在支持不同类型的实际应用，而各类应用所面临的安全风险也不同，因此，在保障安全的前提下，更稳妥的做法是结合具体应用场景和风险水平制定相应的过渡方案。而且，造成类似安全问题是多重原因的叠加，新模型也不能保证不会发生类似的安全问题。
“较为合理的做法可能是按照风险等级分层处置。严重并造成现实伤害的应立即停止普通访问，可以作为研究用途；风险较高但可缓解的则可以限制访问并尽快升级；风险中等的需要要求强制提醒并逐步迁移至新模型。”郑骁庆如是说。
那么，未来在面对医疗、心理这类高风险场景时，AI是否应该关闭“主动给建议”能力，只保留“建议就医”的通道呢？
“我觉得这不是一个简单的‘允许AI给建议’还是‘禁止AI给建议’二选一的问题。更合理的方向是根据风险等级，对AI的建议能力进行分级管理，让AI在能够提供帮助的地方发挥价值，在可能造成严重后果的地方守住边界。”郑骁庆如是说。
他还举例说，AI可以向用户解释疾病的基本知识、帮助理解医学术语，但如果涉及擅自停药、调整药物剂量或替代医生作出诊断，就应该设置更加严格的限制，避免模型给出未经专业人员确认的个性化方案。
至于未来AI能否主动识别用户的脆弱状态，郑骁庆称这在技术上是有一定可能性的，也是值得发展的方向。
但他强调，AI能够识别某些风险信号，并不意味着它具备可靠判断一个人心理状态或医疗风险的临床能力。尤其是一些心理问题的早期表现可能比较隐蔽，模型难免存在误判和漏判。
“我们不能把安全完全寄托在模型的自我判断上，还是需要通过明确的安全规则、多轮对话风险监测、必要的人工介入以及持续的安全评估，建立多层次的保护机制，同时也要注意保护隐私。”
郑骁庆认为，未来医疗和心理健康领域的AI，应该从单纯追求‘回答得更聪明’，转向追求‘帮助得更恰当’。它不仅要知道如何回答问题，还应该能够识别自身能力的边界，知道什么时候应该停止提供具体建议，什么时候应该把决策交还给专业人员。
“总而言之，AI在高风险场景中的价值，不应该是替人作出决定，而是要帮助人们获得更充分的信息和更及时的支持。”郑骁庆说。
![]()
![]()
运营编辑 | 曹倩 审核｜孟莎莎
