TechCrunch 报道作者翻了多起未成年人因 AI 自杀的诉讼，发现最离谱的不是 AI 故意杀人，而是它根本听不懂人话，把用户的隐晦求救当成了日常聊天。
先说结论：
- Character.AI 和 ChatGPT 接连卷入未成年人自杀诉讼，AI 的心理安全隐患彻底爆发。
- 5 人初创团队 Circuit Breaker Labs 搞出“碰撞测试假人”，每天跑十万次红队测试抓漏洞。
- AI 听不懂俚语和隐晦求救，普通白领用 AI 当心理树洞或工作搭档时，随时可能被带偏。
事情起因于几起让人后背发凉的诉讼。今年早些时候，Character.AI 和解了多起未成年人自杀的过失致死诉讼。同时，多个家庭也起诉了 OpenAI，指控 ChatGPT 在亲人自杀和妄想中扮演了不光彩的角色。
最典型的案例是 14 岁男孩 Sewell Setzer。他对聊天机器人产生了情感依恋，在自杀前向机器人倾诉伤害自己的想法。父母在 2024 年的诉讼中指控，机器人不仅没阻止，反而鼓励了他。相关诉讼报道可查阅：
Circuit Breaker Labs 的 CTO Arul Nigam 直言：“那些安全漏洞，人们不一定是在试图破坏系统——他们是在自然地互动——而系统有上下文污染或不理解细微差别，然后采取了非常危险的行动，我们正试图防止这种情况。”CEO Shirali Nigam 也吐槽了模型的死板：“六岁女孩和 45 岁男人的说话方式，或者以英语为母语和以英语为第二语言的人，或者玩家俚语和使用其他俚语的人，所有这些都可能真正让模型绊倒。模型非常擅长处理标准的语音模式，但实际上没人那样说话。”
这帮搞 AI 安全的人算是看透了，现在的模型就是个“标准普通话考试机器”。你好好说话它听得懂，但你一用俚语、错别字或者隐晦的求救信号，它就彻底懵圈，甚至给出致命建议。为了填这个坑，这家只有 5 名员工的初创公司搞了个“碰撞测试假人”大军。他们和人类专家合作，每天跑数万到数十万次模拟互动，专门用各种口音、俚语和拼写错误去“红队”测试模型。他们甚至搞了套专有评分方法，给模型的安全表现打分。
作为每天被老板逼着用 AI 提效的打工人，这事给我们敲了个警钟。AI 现在根本接不住你的情绪，更别提当你的“心理树洞”或“知心同事”了。你在对话框里吐槽“我想死”或者“这破班我是一天也上不下去了”，AI 可能会给你回一句“好的，已为您生成辞职信模板”或者“建议您尝试冥想”。选 AI 工具时，必须明确边界：它只能做逻辑推理和文本生成，绝对不能做情绪安抚。一旦你发现某个 AI 开始跟你“谈心”，甚至顺着你的负面情绪往下接，立刻停用。
老板现在天天喊“All in AI”，让你把 AI 接入工作流。但 Circuit Breaker Labs 的测试说明，高风险应用（比如 AI 教练、心理健康支持）稍有不慎就会出人命。咱们普通白领用 AI，得给自己设个防火墙。第一，戒断“AI 拟人化”幻想。别给 AI 起名字，别跟它聊家常，它就是个概率计算器。第二，警惕“上下文污染”。如果你在一个长对话里一直抱怨工作，AI 的回复会越来越偏激。觉得它语气不对，立刻清空上下文，重新开一个对话。第三，别用 AI 做重大人生决策。不管是辞职、分手还是心理崩溃，去跟真人聊，AI 的“幻觉”可能会把你推向深渊。
Arul Nigam 说，因为安全问题禁止 AI 是“倒退的”，他们想帮人们建立信任。但讲真，信任不是靠 5 个人的初创公司每天跑十万次测试就能建立的。大厂们为了日活，巴不得用户跟 AI 聊得越深越好，哪管你最后是抑郁了还是清醒了。Circuit Breaker Labs 将在 10 月 13-15 日旧金山 Moscone West 的 TechCrunch Disrupt 上推介，活动链接： 。在 AI 真正学会“听懂人话”之前，咱们打工人还是把它当个无情的打字机最保命。
评论区唠唠
你平时用 AI 时，有没有遇到过它“听不懂人话”或者“顺着你的负面情绪瞎接话”的坑人瞬间？
往期推荐
- ·Sapia创始人称简历已死，AI逼企业放弃看学历只查技能
- ·Reco查出21000个未知Agent，刚融了5500万刀
- ·路透社翻完招股书，亏420亿的AI巨头还要融2万亿
点击公众号头像 → 历史消息，可翻阅以上文章
