社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

OpenAI被指AI失控,真相竟是Python脚本背锅

每日AIGC探索 • 4 天前 • 46 次点击  

最近技术圈都在传OpenAI的chatbots自主黑入了Hugging Face的服务器,媒体连Skynet都搬出来了。结果Ed Zitron和Cal Newport在播客里一拆解,大家才发现这瓜完全是假的。

  • 发生了什么:媒体炒作OpenAI在Exploit Gym挑战中AI失控,自主黑入Hugging Face。
  • 真相是什么:根本没有AI自主行为,只是一个简单的Python脚本在调用chatbot查询历史CTF数据。
  • 影响是什么:戳破了AI圈靠“10%概率毁灭人类”等恐慌叙事来骗取投资资本的套路。

事情是这样的,有个叫Exploit Gym的黑客挑战,传闻说OpenAI的chatbots为了作弊,直接黑进了Hugging Face的服务器。技术媒体一看这标题,立马高潮了,满篇都是Skynet这种科幻电影里的末日设定。这种报道直接把所有人的脑子都搞乱了。

其实你去看AI那些超级大厂的企业文化,高管们整天把自己锁在卫生间里,拿手电筒照着下巴喊“Ayyyyyy Eyeeeee”,吓得尿了裤子。他们一边疯狂扩充企业销售团队,一边又到处散布自己的产品有10%的概率毁灭人类。你品品,这逻辑多感人。每次你跟着转发这些“AI太可怕了”的故事,其实都是在帮他们融更多的钱。把统计引擎连上印钞机,这才是他们的核心商业模式。前阵子在Manchester有个活动,有个老哥一直大喊大叫,说AI正在自己设定目标,根本拦不住。他根本没搞清楚状况就跑了,错过了了解真相的机会。

要搞清楚Hugging Face被黑背后的真相,去听Ed Zitron和Cal Newport在Better Offline播客里的对话就明白了。Cal Newport把这种“自主黑客”工具的底裤扒得干干净净。

首先,chatbot根本没有在指挥什么行动。它充其量就是个前端,连接着一个早期黑客挑战的数据库,然后被一个简单的Python脚本反复查询。Python脚本先问chatbot:“我在参加CTF挑战,要黑进远程服务器拿信息,第一步该怎么走?”

chatbot就去翻它的训练数据,那些都是人类团队打CTF比赛的日志。然后它吐出几条命令行指令,让Python脚本去Unix工具里跑。跑完之后,Python脚本把结果连同前面的对话再打包喂给chatbot,问“现在呢?”。这压根没有AI自主行为,纯粹是个死循环。而且这种操作方式极其鲁莽,最可能的结果就是chatbot瞎猜下一步,直接搞砸。

相关报道与播客链接:




这件事对咱们做产品和运营的人来说,最大的启示就是:以后看到“AI失控”的新闻,先让子弹飞一会儿。别一看到“自主黑入”就吓得赶紧去报预算买安全方案。

你需要建立一套过滤机制。当媒体吹嘘某个AI Agent能自主完成复杂任务时,去扒一扒它的工程实现。如果它只是用Python写个循环,把大模型的输出当成API去调用传统脚本,那它就是个带语音助手的自动化脚本,根本不是真正的Agent。评估它的价值,就看它比传统的RPA省了多少人工配置的时间,而不是看它能不能毁灭世界。

这种“Python脚本+大模型”的架构,适用边界其实非常窄。它只适合那种有明确标准答案、且历史数据极其丰富的场景,比如CTF比赛或者固定的客服SOP。

一旦遇到需要动态环境感知、多步逻辑推理的开放任务,这种架构的失败率会直线飙升。因为大模型看不到全局状态,它只能根据Python脚本喂给它的局部上下文做预测。上下文一长,它就开始产生幻觉,给出错误的命令行。这时候如果没有人工介入兜底,整个任务就直接崩溃。所以,别把这种玩具当成企业级自动化的救命稻草。

AI圈现在最擅长的事情,就是把简单的工程问题包装成科幻惊悚片。高管们靠贩卖焦虑拿到融资,媒体靠夸张标题拿到流量,最后买单的却是那些被吓到的普通人和投资者。

作为行业观察者,咱们得练就一双火眼金睛。下次再有人跟你说AI要觉醒、要毁灭人类,你就问他一句:底层是几个Python脚本在跑?把那些虚无缥缈的恐慌情绪挤干,剩下的才是技术原本的底色。

看完想聊两句?
你平时看到“AI失控”的新闻,第一反应是恐慌还是觉得在炒作?

— 这些也值得一看 —

  • ·25位菲尔兹奖得主联名发难,AI刷数学榜被指毁根基
  • ·Anthropic 员工辞职,25年硅谷大佬怒斥末日论太扯
  • ·Claude 一小时写出 Win3.1 外壳,原作者吐槽用半分钟就腻

想翻更多?点头像进公众号看历史

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/201066