社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

2场AI顶会同投同中,GitHub遗留Prompt实锤

AI醒知 • 4 小时前 • 6 次点击  

2场AI顶会同投同中,有人现场开ChatGPT答题。原帖作者亲历的这场学术荒诞剧,正在撕开AI论文造假的遮羞布。

核心看点

  • 顶会审稿漏洞:AI代写论文泛滥,甚至出现现场开ChatGPT作弊的荒诞场景。
  • 数据造假实锤:一稿多投被接收,GitHub遗留Prompt暴露数据全为伪造。
  • 行业信任危机:劣币驱逐良币,真实研究者的成果被拒,技术选型面临伪创新风险。

▎顶会现场的荒诞剧与造假实锤

Reddit用户u/Vegetable-Formal-753近期参加了两场AI顶会(A和A*级),目睹了一系列令人震惊的学术不端行为。最荒诞的一幕发生在答辩现场:一位论文作者被问及如何在论文中表达知识图谱时,竟然思考了5分钟,最后憋出一句“用向量表示”。另一位作者更是毫无顾忌,直接在演示时打开ChatGPT,输入问题并照读答案。

更严重的系统性造假随之浮出水面。原帖作者发现,有研究者将同一篇论文同时投给两个AI会议,且双双被接收。当作者查阅其GitHub仓库时,发现这位粗心大意的造假者甚至没有删除LLM的聊天记录。所有的Prompt清晰可见,直接证明了其论文中的实验数据全是伪造的。

这种学术垃圾的泛滥正在产生实质性的破坏。原帖作者指出,大量真正日夜奋战的研究者,其论文反而被这类造假者或敷衍的审稿人拒稿。这不仅伤害了科学研究的严谨性,更导致整个学术社区的信任度降至冰点。现在,阅读任何论文都需要带着极强的怀疑心态去审视,整个学术生态正面临严峻的信任危机。

▎从代写到造假:技术尽调的排雷清单

对于产品经理和投资人而言,AI论文的信任危机直接转化为技术选型和尽调风险。当实验数据可以通过LLM批量生成时,必须建立新的排查框架。基于原帖揭露的造假手法,以下是针对伪创新项目的核心排查清单:

首先是代码仓库审查。造假者往往只关注论文文本而忽略工程细节。尽调时必须检查GitHub等平台,排查是否遗留LLM对话记录或未清理的Prompt。原帖中因未删聊天记录而翻车的案例,正是最直接的教训。

其次是核心逻辑的现场压力测试。针对论文中宣称的关键模块(如知识图谱表示),在技术交流时进行深度提问。如果对方对底层逻辑含糊其辞,或者给出“用向量表示”这种敷衍回答,基本可判定为代写。真正的技术突破必然伴随对工程细节的掌控。

最后是数据溯源验证。警惕只展示完美结果却缺乏中间推导的论文。要求对方提供原始数据集及完整实验记录。如果数据无法复现或拒绝提供底层数据,其真实性便大打折扣。

▎技术选型与投资的防御性策略

面对AI生成论文泛滥的现状,技术决策者必须调整对学术界产出的依赖权重。盲目迷信顶会Paper的时代已经过去,建立内部的技术过滤网成为当务之急。企业在引入新技术或进行投资尽调时,应将评估重心从论文宣称转移到工程落地。

一方面,降低对单一论文指标的信任度,转向开源社区的真实反馈。重点关注项目的实际代码提交频率、问题修复效率以及社区贡献者的活跃度。一个被广泛集成且经过真实业务场景检验的开源项目,其价值远高于一篇数据完美的顶会论文。

另一方面,强制建立内部的概念验证机制。无论外部论文或技术提供方宣称的效果多好,都必须在企业自身的业务数据和小规模测试环境中进行验证。只有跑通了真实场景的闭环,才能将学术创新转化为实际的业务生产力。

AI工具的普及极大地降低了文本生成和代码编写的门槛,但也同时打开了伪创新的潘多拉魔盒。当制造学术垃圾的成本趋近于零时,行业的甄别成本就会呈指数级上升。对于决策者而言,这不仅是学术界需要解决的审稿机制问题,更是商业世界中必须直面的信息噪音挑战。建立基于工程实践和真实数据的验证体系,才是穿越这轮学术泡沫的唯一路径。

点个赞再走?
你在做技术尽调时,被哪些“论文SOTA”坑过?

本文依据以下公开报道整理:
来源:Reddit MachineLearning
原文链接:https://www.reddit.com/r/MachineLearning/comments/1xnkbeu/a_message_to_top_tier_conferences_d/

往期推荐

  • ·
    诺奖得主警告年内爆发系统级事故,直指 OpenAI 与 Sam Altman
  • ·
    近90万下载量,单人开发者用 Copilot 管理开源项目
  • ·
    GitHub Copilot 进 Docker,JetBrains Air 云端隔离

点击公众号头像 → 历史消息,可翻阅以上文章

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203176