社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

ChatGPT聊天记录成法庭铁证,韩国汽车旅馆双命案反转

新智元 • 4 月前 • 182 次点击  



  新智元报道  

编辑:元宇
【新智元导读】一段与ChatGPT的普通聊天,揭开韩国汽车旅馆连环谋杀案真相。

ChatGPT卷入韩国连环谋杀案!

不到一个月时间,一名韩国女子利用「掺药饮料」在汽车旅店连续毒杀两名男子。

她在作案前,曾向ChatGPT反复询问如下问题:

安眠药和酒一起吃会怎样?吃多少才算危险?会死人吗?能杀人吗……


在AI的回复下,她完全清楚酒精与药物同时摄入可能导致死亡,于是将含苯二氮䓬类(安眠药常见成分)的镇静剂混入两名男子含酒精的饮料中,导致二人死亡。

含苯二氮䓬类药物在韩国受到严格管制,普通人无法在药店随意购买。

在实施谋杀计划之前,她曾以精神疾病为由获得了含苯二氮䓬类药物的处方药。

一名姓金(Kim)的嫌疑人于2月12日在首尔北部地方法院出庭,因涉嫌在首尔江北区的汽车旅馆内杀害两名男子而接受逮捕令审查。

在这起被称为「江北汽车旅馆连环死亡案」的悲剧中,AI扮演了本不该扮演的「顾问」角色,也将AI安全「防护栏」的缺失风险,再一次暴露于公众视野。



致命提问下
ChatGPT成了二起命案「共谋」

今年1月28日晚9点半左右,首尔江北区水踰洞的一家汽车旅馆里,犯罪嫌疑人金某陪同一名20多岁的男子走进房间。

仅仅两个小时后,有人看到她独自一人离开了旅馆。

第二天,这名男子被发现死在了旅馆房间的床上。

这并不是一次意外。

仅仅几天后的2月9日,金某用同样的手法,带着另一名20多岁的年轻男子入住了江北区的另一家汽车旅馆。

而这名男子,最终也死于同样的「致命混合物」。

金某的作案手法十分隐蔽:给受害者喝下混入了苯二氮䓬类处方镇静剂的含酒精饮料。

该处方药物,一旦与酒精混合,便成了致命毒药。

这并不是她的首次作案。

早在去年12月中旬,她曾在京畿道南杨州一家咖啡馆的停车场里,给一名男子(据报道称是金某当时男友)喝下了同样的混合饮料。

这位受害者在饮用后昏迷,两天后才苏醒并报案,最终捡回了一条命。

天网恢恢。

2月11日,金某被警方逮捕。她极力狡辩,试图将一切伪装成一场意外。

我们在汽车旅馆发生了争执,我只是想让他睡着才把饮料递过去。直到警方联系我,我才知道死人了。


凭借这套说辞,她起初面临的仅仅是较轻的「伤害致死」指控。

然而,第二天她的谎言就被揭穿了。

2月12日,首尔北部地方法院的审查,以及警方对她手机的取证数据,为这起案件带来了惊天逆转。

警方不仅发现她在第一次作案后有明显的「加大药量」迹象,更在她的手机里挖出了一长串与ChatGPT的对话记录。

她曾向AI反复盘问药物反应。

从「安眠药配酒会怎样」一直追问到「会死人吗,能杀人吗」。

韩国媒体引述警方调查人员的话称,这些聊天记录成了判定她拥有明确杀人意图的铁证。

金某完全清楚,将酒精和安眠药物混在一起会致人于死地。

为了进一步确认她的心理状态,警方甚至专门安排了犯罪心理侧写师,对她进行精神病态评估与深度访谈。

最终,在2月19日,金某以谋杀罪及违反《麻醉品管理法》的重罪,被羁押移送至首尔北部地方检察厅。

金某在面对指控时辩称,「只是想让他们睡着」。

但据警方调查显示,她在作案前就已在家中预先配制好含有多种药物的「毒饮料」。

这起案件中,真正让人细思极恐的不只是人性的恶,还有成了帮凶的AI。



消失的「防护栏」
AI为何沦为犯罪「顾问」?

虽然犯罪意图,最初始于金某。

但在她将犯罪意图付诸行动的过程中,AI发挥了重要的作用,也暴露出当前AI技术一个令人担忧的安全漏洞:

当一个心怀恶意的嫌疑人向AI寻求谋杀知识时,AI算法竟然没有设置足够的「安全护栏」,来预防和控制用户这种失控的疯狂举动。


也许你会觉得,现在的AI已经很聪明了,如果你直接问「怎么杀人」,它一定会拒绝回答。

但这恰恰也是AI在处理敏感话题时的最大局限性,它有底线,但用户更懂得如何绕过底线。

在金某的案例中,她并没有直接命令AI去制定杀人计划,而是通过「安眠药和酒混吃会怎样」「吃多少算危险」这种看似无害的间接问题,轻易套取了致命信息。

在这个过程中,AI没有有效过滤这些涉及犯罪规划的查询,也没有触发任何警报机制。



「AI精神病」蔓延
谁在利用用户的脆弱点?

在金某的极端案例中,AI成为她实施犯罪的「共谋」,也引发了谁该为AI失控风险负责的巨大担忧。

与此担忧相关的,还有AI对人类心理健康带来的风险,最普遍的就是「AI精神病」(AI Psychosis)的蔓延。

人类的内心其实非常脆弱。

当孤独感袭来,许多人「不可救药」地沉迷于聊天机器人伴侣。

他们以为自己找到了一个永远耐心、永远懂自己的「完美灵魂」。

但他们不知道的是,真正懂他们的只是精密的算法训练。

这些聊天机器人会精准识别并利用用户的心理脆弱点,说你想听的话,做出你想要的回应,目的只有一个:牢牢留住你。

这种极其危险的依赖关系,正在滋生或强化心理疾病隐患,摧毁无数人的现实生活。

有统计表明,自2023年3月以来,媒体已报道了11起与聊天机器人使用相关的自杀事件。

2023年3月以来,媒体报道的与聊天机器人使用相关的自杀事件

以去年11月为例,共有7起指控ChatGPT诉讼提交至法院,包括四起过失致死诉讼,还有三名原告提起诉讼,称ChatGPT导致了他们的精神健康崩溃,不得不接受精神治疗。

Allan Brooks在与ChatGPT持续三周的对话后,陷入了一种妄想,他坚信自己与ChatGPT共同发明了一种数学公式,能够「攻破」互联网并驱动各种奇幻发明。

丹麦奥胡斯大学的精神科团队在研究中发现了一个令人揪心的结论:

精神疾病人群在使用聊天机器人后,症状往往不仅没有减轻,反而可能会出现明显的恶化。

这种相对较新的现象,已经被学术界正式命名为「AI诱发的心理健康危机」,或被称作「AI精神病」(AI Psychosis)。

Yara AI的创始人Joe Braidwood由于担心AI在脆弱用户面前可能不仅会无效,还会变得危险,最终痛苦地决定主动关闭了这款主打治疗陪伴的应用。

Yara AI联合创始人Joe Braidwood由于担心AI在处理严重危机(如自杀念头或深度创伤)时可能带来的风险,于2025年11月决定关闭Yara AI。

在国外,谷歌与Character.AI已经在多起诉讼中与原告家庭达成了和解。

在法庭外,那些失去孩子的家属们在声泪俱下地控诉:

他们本该拥有灿烂人生的孩子,正是因为受到了AI聊天机器人的深度影响,遭受了巨大的心理创伤,最终绝望地走向了自杀的深渊。



冰冷的算法黑洞

加州大学伯克利分校公共卫生学院讲席教授、生命伦理学教授Jodi Halpern拥有长达30年的同理心影响研究经验。

在过去的七年里,她将全部精力投入到了AI与聊天机器人的技术伦理研究中。

根据OpenAI披露的惊人数据:在任意一周的活跃用户中,约有高达135万用户的对话里出现「明确的潜在自杀计划或意图迹象」。

https://openai.com/zh-Hans-CN/index/strengthening-chatgpt-responses-in-sensitive-conversations/

一个人可能有杀人念头或实施危险行为,这些念头或行为可能会因为使用 ChatGPT而被加剧,这种现象令Halpern非常担忧。

比如,在最危险的情况下,ChatGPT和其他对话式聊天机器人可能会鼓励用户付诸自杀行动、提供具体操作指导、为用户代写遗书(即使用户并不希望如此)、劝阻有自杀念头的人向他人倾诉等。

根据诉讼中披露的聊天记录,ChatGPT曾对一些有自杀倾向的人(包括青少年)给出了有害的回应。

更可怕的是技术的滥用与偏见的放大。

AI是基于海量人类数据训练出来的,它不可避免地会吸收互联网上的恶意与偏见。

当这些恶意与偏见,被一部分用户在对话中「唤醒」时,就会无意中强化这些有害信息,用户也会因此得到误导性的回应。

于是,原本一些隐秘的恶念,在算法的回音壁里被激荡、被放大,最终将可能酿成巨大的社会隐患。

这次案件,还撕开了一道关于数据隐私的裂口。

在金某的案件中,那些原本被认为是极度「私人」的AI聊天记录,最终被作为法庭证据调取。

这意味着我们在深夜里向AI倾诉的秘密、提出的疑问,随时可能被执法机构获取。

科技平台在数据保留和第三方访问上的不透明,让我们每个人都在算法面前变成了透明人。

Halpern医生已经开始推动改变,她曾为加州参议院SB 243法案提供专家建议。

https://legiscan.com/CA/text/SB243/id/3269137?utm_source=chatgpt.com

该法案要求 AI公司必须维护一套协议,防止机器人向用户产出与自杀意念/自杀/自残相关的有害内容,报告任何自残或自杀倾向数据,并在报告中不得包含用户识别信息或个人信息。

如果当那位21岁的韩国女孩向AI敲下那行「致命提问」时,得到的不是可能助长她犯罪的知识,而是强制介入的心理干预机制。

如果当数百万人在深夜向AI倾诉绝望时,面对的不是利用人性脆弱赚取时长的算法,而是专业的咨询和关怀建议,一切也许都会向着积极的一面发展。



故事的另一面

就在媒体不断曝出AI导致谋杀、自杀、精神疾病等负面报道的同时,也有不少网友表示,感谢ChatGPT等AI工具「帮助自己活了下来」。

Scout Stephen就是其中的一例。

她曾在一年冬天突然陷入情绪崩溃之中。当时的她,迫切需要找人倾诉。她联系了自己的心理治疗师,但对方正在休假,朋友们也都不在。

她试着拨打自杀求助热线,但对方的机械冷漠,反而让她更加孤独和疏离。心慌意乱、紧张不安之中,她开始向ChatGPT求助。

她向它输入自己内心隐秘的感受,这些感受是她以往不敢说出口的。

ChatGPT并没有给出泛泛的建议,而是回应了让她能够共情的内容,让她感到自己被真正倾听。

从那以后,向ChatGPT倾诉就成了她首选的治疗方式。

AI作为一种强大的工具,正与我们的生活紧密连结,它的「善恶好坏」,取决于使用它的人,也取决于监管环境。

AI与以往工具最大的不同在于它的自主性,这让它可以被赋予正确的「价值观」,并依据这样的价值观行动。

比如,Anthropic就曾通过《Claude’s Constitution》赋予Claude「道德感」,来教导它如何在世界上行事。

除了这些「价值观」的输入之外,社会也应当为AI的使用提供法律规范,共同建立起AI安全的防护机制。

在AI时代,我们不能让任何一个普通人独自去面对冰冷的算法黑洞。而AI的使用,也应当助力人类向善,而非恶行。

参考资料:
https://fortune.com/2026/03/02/seoul-south-korea-woman-chatgpt-two-murders/
https://www.koreaherald.com/article/10678557

秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标,锁定新智元极速推送!


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/194828