社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

微软AI公开折磨微软员工,修Bug唯一贡献是改了PR标题,GitHub评论区成吃瓜现场

猿大侠 • 3 周前 • 93 次点击  
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

微软著名开源项目.NET Runtime成了吃瓜现场,全球程序员在GitHub评论区围观嘲笑:

微软用垃圾AI折磨微软员工,真是可悲又可笑。

发生什么事?

原来是新出的Copilot代码智能体在尝试帮忙自动修Bug,但那叫一个越帮越乱。

Bug本身只是一个正则表达式的小问题,被分配给一位微软员工斯蒂芬和Copilot合作解决。

Copilot在方案描述中说的头头是道,什么“这确保了一致性”,“改动很小”等等。

结果代码直接检查不通过,报错报了一长溜。

合着这AI忙活了半天,唯一的“贡献”其实是把标题给改了,也是学会摸鱼的精髓了。

还好其实只是代码规范的小问题,斯蒂芬老哥也没当回事,直接请Copilot修复样式问题,并把测试挪到之前的文件中。

没过多久Copilot就回报:我已修复样式问题,并把测试移动到现有文件中。

斯蒂芬老哥一检查,很无奈,许多正则表达式测试现在都失败了

正是从这开始这条PR引起了程序员们的注意,几百人点了“好笑”。

AI闯的祸还得AI自己收拾,Copilot尝试修复错误,还总结到“最初的修复方案过于激进”。

结果这位先进的AI智能体,直接被更原始的程序Bot打脸了:此操作被取消,后续步骤可能不包含预期的日志。

这下围观的网友直接崩不住了,跳出来阴阳怪气“我真的看到了这个方案的潜力”。

与其让真人花时间编写无法运行的代码,不如让计算机自己去编写无法运行的代码,至少提高了写无效代码的效率。

最终这条PR被斯蒂芬老哥手动关闭,他认为是由于配置问题,智能体无法访问所需的依赖项。

而像这样微软员工和Copilot搭档,最终失败的PR还有……这么多。

被折磨的也不是只有斯蒂芬一人,另一位员工埃瑞克还遇到手动关闭PR、删除分支之后,一回头Copilot又把分支恢复了,还改个标题请求老哥再审核。

不过既然都关闭了,埃瑞克后来直接就没搭理它。

AI修Bug,没修好还狡辩

在另一个有关正则表达式的PR中,bug是由于堆栈回溯时数组越界出现异常。

Copilot给的方案居然是添加一个边界检查,当超出数组长度时返回“不匹配”,避免抛出异常

这个方案被斯蒂芬评价为“治标不治本”,那到底为什么会出现越界,还是没有解决。

这回Copilot直接没有反应,还要老哥再@一遍才动。

Copilot有反应了,但没有给出新的解决方案,而是说了一大套理由论证自己的方案已经有效解决了问题,还是“优雅地”

斯蒂芬也没法说服AI,而是指出新的问题,又是测试代码没放对位置所以没执行。

放对了位置之后,不出意外地又出了意外,AI添加的测试都失败了。

到这里围观网友已经看不下去了,认为微软员工应该自己动手解决问题,而不是浪费时间指导AI。

毕竟这可是.NET运行时的代码,多少云计算、医疗、金融等行业的重要系统要依赖它运行。

混乱中还有人尝试越狱提示词,想让AI用PHP语言把整个项目重写一遍。

不过还好微软做了权限管理,非项目参与者的指令对Copilot不起作用。

斯蒂芬老哥还是坚持智能体的配置问题正在修复,还将继续进行实验。

而大家的意见是:还是别继续了,赶紧取消这个实验吧。

微软员工回应:不是强制性要求

Copilot智能体的糟糕表现,围观的程序员一开始只是觉得好笑,但慢慢也开始思考对于整个行业来说意味着什么。

结合微软刚刚大裁员3%,还披露公司20%-30%的代码由AI生成这一消息,让人怀疑Copilot就是用来替代被裁掉的6000人的。

这样继续下去,让人无法再继续信任.NET这个平台了,总有一天AI写的糟糕代码会进入生产环境。

有人从更大的视角,认为这也违背了人类开发AI的初衷。

本来应该是机器辅助人类工作的,现在倒过来成了人类被迫辅助机器。

一位.NET开发者提出,有多少AI是基于15年前的Stack Overflow答案进行训练的,而这些答案已经不再代表当前的模式或推荐方法。

如果AI持续不断的失败,会消磨掉项目维护者的耐心么?

或者这只是微软做给热衷于AI的股东看,而下的命令?

不过斯蒂芬老哥回复,使用Copilot不是公司强制性的要求,团队一直在实验AI工具以了解在当前和未来的局限性。

并且他认为:

任何不考虑如何利用这些AI工具的人,将来都会被淘汰。

One More Thing

整个.NET运行时代码库中,Copilot自动修Bug成功合并代码的案例只找到两个,也都是合作的人类程序员反复提示修改后才成功。

不过Copilot还在很多PR中当辅助代码审核员,这些比较顺利,基本都成功了。

这款Copilot智能体看来目前还是只能干干自动补全,总结代码内容的活。

真修Bug,还得靠人。

吃瓜现场:
https://github.com/dotnet/runtime/pull/115743
https://github.com/dotnet/runtime/pull/115743
https://github.com/dotnet/runtime/pull/115733
https://github.com/dotnet/runtime/pull/115732
https://github.com/dotnet/runtime/pull/115822

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/182518
 
93 次点击