2场AI顶会同投同中,有人现场开ChatGPT答题。原帖作者亲历的这场学术荒诞剧,正在撕开AI论文造假的遮羞布。
核心看点
- 顶会审稿漏洞:AI代写论文泛滥,甚至出现现场开ChatGPT作弊的荒诞场景。
- 数据造假实锤:一稿多投被接收,GitHub遗留Prompt暴露数据全为伪造。
- 行业信任危机:劣币驱逐良币,真实研究者的成果被拒,技术选型面临伪创新风险。
▎顶会现场的荒诞剧与造假实锤
Reddit用户u/Vegetable-Formal-753近期参加了两场AI顶会(A和A*级),目睹了一系列令人震惊的学术不端行为。最荒诞的一幕发生在答辩现场:一位论文作者被问及如何在论文中表达知识图谱时,竟然思考了5分钟,最后憋出一句“用向量表示”。另一位作者更是毫无顾忌,直接在演示时打开ChatGPT,输入问题并照读答案。
更严重的系统性造假随之浮出水面。原帖作者发现,有研究者将同一篇论文同时投给两个AI会议,且双双被接收。当作者查阅其GitHub仓库时,发现这位粗心大意的造假者甚至没有删除LLM的聊天记录。所有的Prompt清晰可见,直接证明了其论文中的实验数据全是伪造的。
这种学术垃圾的泛滥正在产生实质性的破坏。原帖作者指出,大量真正日夜奋战的研究者,其论文反而被这类造假者或敷衍的审稿人拒稿。这不仅伤害了科学研究的严谨性,更导致整个学术社区的信任度降至冰点。现在,阅读任何论文都需要带着极强的怀疑心态去审视,整个学术生态正面临严峻的信任危机。
▎从代写到造假:技术尽调的排雷清单
对于产品经理和投资人而言,AI论文的信任危机直接转化为技术选型和尽调风险。当实验数据可以通过LLM批量生成时,必须建立新的排查框架。基于原帖揭露的造假手法,以下是针对伪创新项目的核心排查清单:
首先是代码仓库审查。造假者往往只关注论文文本而忽略工程细节。尽调时必须检查GitHub等平台,排查是否遗留LLM对话记录或未清理的Prompt。原帖中因未删聊天记录而翻车的案例,正是最直接的教训。
其次是核心逻辑的现场压力测试。针对论文中宣称的关键模块(如知识图谱表示),在技术交流时进行深度提问。如果对方对底层逻辑含糊其辞,或者给出“用向量表示”这种敷衍回答,基本可判定为代写。真正的技术突破必然伴随对工程细节的掌控。
最后是数据溯源验证。警惕只展示完美结果却缺乏中间推导的论文。要求对方提供原始数据集及完整实验记录。如果数据无法复现或拒绝提供底层数据,其真实性便大打折扣。
▎技术选型与投资的防御性策略
面对AI生成论文泛滥的现状,技术决策者必须调整对学术界产出的依赖权重。盲目迷信顶会Paper的时代已经过去,建立内部的技术过滤网成为当务之急。企业在引入新技术或进行投资尽调时,应将评估重心从论文宣称转移到工程落地。
一方面,降低对单一论文指标的信任度,转向开源社区的真实反馈。重点关注项目的实际代码提交频率、问题修复效率以及社区贡献者的活跃度。一个被广泛集成且经过真实业务场景检验的开源项目,其价值远高于一篇数据完美的顶会论文。
另一方面,强制建立内部的概念验证机制。无论外部论文或技术提供方宣称的效果多好,都必须在企业自身的业务数据和小规模测试环境中进行验证。只有跑通了真实场景的闭环,才能将学术创新转化为实际的业务生产力。
AI工具的普及极大地降低了文本生成和代码编写的门槛,但也同时打开了伪创新的潘多拉魔盒。当制造学术垃圾的成本趋近于零时,行业的甄别成本就会呈指数级上升。对于决策者而言,这不仅是学术界需要解决的审稿机制问题,更是商业世界中必须直面的信息噪音挑战。建立基于工程实践和真实数据的验证体系,才是穿越这轮学术泡沫的唯一路径。
点个赞再走?
你在做技术尽调时,被哪些“论文SOTA”坑过?
本文依据以下公开报道整理:
来源:Reddit MachineLearning
原文链接:https://www.reddit.com/r/MachineLearning/comments/1xnkbeu/a_message_to_top_tier_conferences_d/
往期推荐
- ·诺奖得主警告年内爆发系统级事故,直指 OpenAI 与 Sam Altman
- ·近90万下载量,单人开发者用 Copilot 管理开源项目
- ·GitHub Copilot 进 Docker,JetBrains Air 云端隔离
点击公众号头像 → 历史消息,可翻阅以上文章