机器学习研究领域正经历着飞速发展，然而与此形成鲜明对比的是，已发表研究成果的代码实现往往缺失或难以获取。这种代码的缺失极大地阻碍了研究结果的可复现性，并减缓了科学进步的步伐。研究人员不得不投入大量时间和精力从论文中反向工程方法，这不仅效率低下，而且容易出错，最终阻碍了新思想的验证和进一步发展。据统计，在2024年顶级机器学习会议上发表的论文中，仅有极小一部分（例如21.23%）提供了相应的代码。
近年来，大型语言模型（LLMs）在理解科学文献和生成高质量代码方面展现出卓越的能力。这些模型能够理解复杂的文本描述，并将其转化为可执行的代码，为自动化将研究论文转化为代码库提供了有希望的途径。正是基于此，本文介绍了一种名为PaperCoder的新型多智能体LLM框架，旨在自动生成机器学习研究论文的代码库。PaperCoder的出现，正是为了弥合机器学习研究中代码可复现性不足的鸿沟，为科研人员提供更便捷、高效的工具。图1a概括了PaperCoder将科研论文转化为代码仓库的三阶段流程。
PaperCoder：用于自动生成代码库的三阶段框架
PaperCoder框架的核心是一个多智能体系统，其设计理念在于模拟人类开发人员的工作流程，将复杂的代码库生成任务分解为一系列结构化的步骤。该框架包含三个连续的阶段：规划（Planning）、分析（Analysis）和生成（Generation）。这种分阶段的方法确保了从理解论文的高级概念到生成详细的、可执行代码的系统性转化。图2对比了直接使用LLM生成代码的简单方法与PaperCoder框架的细致流程。
阶段一：规划 - 构建高级实现路线图
规划阶段是PaperCoder的第一步，其主要目标是构建一个用于代码实现的高级路线图。在这个阶段，PaperCoder首先会对论文的核心内容进行总结，提取关键信息。随后，它会设计系统的整体架构，并使用统一建模语言（UML）图（包括类图和序列图）来描绘不同模块之间的结构关系。此外，PaperCoder还会识别文件之间的依赖关系及其执行顺序，为后续的代码生成提供指导。最后，该阶段还会生成实验所需的配置文件（如config.yaml），以便用户能够根据需要自定义实验参数。规划阶段生成的这些结构化信息，为后续的详细分析和代码生成奠定了坚实的基础。这种对整体结构和逻辑的预先理解，使得PaperCoder能够生成更全面和有组织的代码实现。
阶段二：分析 - 详细解读实现需求
分析阶段的任务是对实现代码库所需的每个文件和函数进行详细的解读。该阶段的重点在于理解每个组件的预期功能、所需的输入和输出、与其他模块的交互方式，以及从论文中推导出的任何算法或架构上的约束。PaperCoder会对论文中的相关描述进行细致的分析，确保对实现细节的准确把握。分析阶段的输出是针对每个文件的详细分析报告，其中明确了该文件的具体实现要求。这个阶段弥合了高层规划和实际代码之间的差距，为代码生成提供了具体的指导。通过这种细致的分析，PaperCoder能够确保生成的代码能够忠实地反映论文中描述的方法和实验。
阶段三：生成 - 合成代码库
生成阶段是PaperCoder的最后一个阶段，其目标是合成完整的代码库。在这个阶段，PaperCoder会根据规划阶段确定的执行顺序和分析阶段提供的详细信息，为代码库中的每个文件生成模块化且具有依赖感知性的代码。这意味着生成的代码不仅能够实现论文中描述的功能，而且能够正确地处理文件之间的依赖关系，确保整个代码库能够协调一致地运行。PaperCoder通过这种方式，能够生成结构清晰、易于理解和维护的代码。这种模仿人类开发过程的分阶段方法，是PaperCoder区别于其他简单代码生成方法的关键特征。
基准测试
为了评估PaperCoder在从研究论文中自动生成代码方面的有效性，作者专门构建了一个新的基准数据集，名为Paper2Code。创建这个基准数据集的主要目的是为了系统地评估PaperCoder框架在复现科学论文中的方法和实验方面的能力。Paper2Code基准数据集的详细构建过程和论文选择标准在论文的第4.1节中有详细描述。
基准构建的动机
构建Paper2Code基准数据集的根本原因在于，现有的一些通用代码生成基准可能无法充分评估从科研论文到代码的转换这一特定任务所面临的挑战。PaperCoder旨在理解和实现科学论文中复杂的算法和实验流程，这与一般的软件开发任务存在显著差异。因此，需要一个专门的基准来衡量PaperCoder在这方面的表现。
论文选择标准
Paper2Code基准数据集包含了90篇来自2024年顶级机器学习会议的论文，这些会议包括国际机器学习大会（ICML）、神经信息处理系统会议（NeurIPS）和国际学习表征会议（ICLR）。论文的选择过程经过了精心设计：
基于公开代码过滤： 研究人员首先筛选了每个会议接收的论文，只保留那些在GitHub上公开了代码库的论文。这一步通过OpenReview API实现。
限制代码库大小： 为了确保评估的可行性，研究人员进一步选择了代码库总标记数少于70,000的论文。
基于模型的质量评估： 随后，研究人员对这些作者发布的代码库进行了基于模型的评估。这表明在最终选择之前，对代码的质量或相关性进行了初步的自动评估。
选择高分论文： 最后，研究人员根据模型评估的结果，从每个会议中选择了得分最高的30篇论文。
通过以上步骤，Paper2Code基准数据集最终包含了90篇论文，每个会议各30篇。这些论文的详细列表可以在论文的附录中的表9、表10和表11中找到。选择这些论文是因为它们代表了最新的机器学习研究成果，并且提供了官方的代码实现作为评估的参考。
基准数据集的构成
Paper2Code基准数据集最终由来自ICML、NeurIPS和ICLR 2024这三个顶级会议的共90篇机器学习论文组成。这种均衡的分布确保了基准的广泛性和代表性。论文的详细列表被收录在论文的附录中，方便研究人员查阅。
人工评估的子集
为了进行更深入的人工评估，研究人员从90篇论文中选取了一个较小的子集，包含13篇论文。值得注意的是，这13篇论文的作者正是参与人工评估的专家。这确保了评估者对他们所评估的原始论文有着深入的理解和专业的知识，从而能够做出更准确和有价值的判断。
与其他基准的联系
除了Paper2Code基准之外，研究人员还使用了最近发布的PaperBench基准进行了进一步的评估。PaperBench旨在对从研究论文生成的代码实现进行细粒度的评估，其中包含了一些来自ICML 2024的论文。通过在PaperBench上进行评估，可以更全面地了解PaperCoder的性能，并将其与其他代码生成方法进行比较。
为了验证PaperCoder的有效性，研究人员进行了广泛的实验，采用了多种评估方法，包括自动化的基于模型的评估和专家的人工评估。这种多方面的评估策略旨在全面衡量PaperCoder生成代码的质量和实用性。
评估指标
实验中使用了两种主要的评估方法：自动化的基于模型的评估和专家的人工评估。基于模型的评估又分为参考实现评估（reference-based）和无参考实现评估（reference-free）。参考实现评估通过将PaperCoder生成的代码与作者提供的官方代码进行比较来衡量其正确性。无参考实现评估则侧重于评估生成代码本身的质量，例如其结构、可读性和是否符合论文的描述。专家的人工评估则邀请了原始论文的作者对PaperCoder生成的代码库进行评估，从专业角度判断其完整性、结构清晰度和对原始论文的忠实度。
Paper2Code上的模型评估结果
在Paper2Code基准数据集上进行的模型评估结果表明，PaperCoder在参考实现评估和无参考实现评估中均取得了最高的平均正确性评分。具体而言，如表1所示，在参考实现评估中，PaperCoder在ICML、NeurIPS和ICLR论文上的得分分别为3.72、3.83和3.68。在无参考实现评估中，PaperCoder在这些会议上的得分更是高达4.73、4.77和4.73。这些数据清晰地表明，PaperCoder能够有效地生成与原始论文高度一致的代码实现。
实验结果还显示，PaperCoder的性能显著优于一些基线方法，例如ChatDev和MetaGPT。虽然ChatDev生成的代码文件数量与PaperCoder相当（6.99 vs. 6.97），但PaperCoder生成的函数数量却远高于ChatDev（35.22 vs. 23.82）1，这表明PaperCoder生成的代码具有更高的粒度和更完整的功能实现。MetaGPT在评估得分和生成的代码数量方面均落后于PaperCoder。此外，仅使用论文摘要或全文作为输入的简单基线方法的性能远不如PaperCoder，这充分证明了PaperCoder多阶段框架的有效性。这些比较结果强调了PaperCoder在自动化生成高质量代码库方面的优势。表1中也展示了与这些基线方法的详细比较结果。
人工评估结果
人工评估的结果进一步证实了PaperCoder的卓越性能。参与评估的原始论文作者普遍更倾向于PaperCoder生成的代码库。高达77%的作者认为PaperCoder的输出是最佳选择，这主要是因为其代码的完整性、清晰的结构以及对原始论文的高度忠实。此外，85%的人工评估者表示，PaperCoder生成的代码库对于他们复现论文中的方法和实验非常有帮助，如图4所示。这些积极的反馈充分体现了PaperCoder在实际应用中的价值。表3总结了人工评估的详细结果。
消融研究
通过消融实验，研究人员发现PaperCoder的每个组成部分（包括总体规划、架构设计、逻辑设计、配置文件和分析模块）都对其整体性能的提升做出了贡献。完整的PaperCoder系统在参考实现评估（3.72）和无参考实现评估（4.73）中均取得了最高的得分，如表6所示。这表明PaperCoder的每一个阶段都至关重要，共同促成了其优异的表现。
对具有代表性的论文进行的手动调试分析表明，PaperCoder生成的代码通常只需要进行极少的修改即可成功执行。平均而言，如表7所示，只需要修改0.48%的代码行即可消除执行错误，这表明PaperCoder生成的代码具有很高的功能可靠性。常见的修改包括更新过时的API调用和修正简单的类型转换。这一结果进一步证明了PaperCoder生成的代码不仅在结构上是合理的，而且在功能上也是基本可用的，能够显著减少研究人员在代码实现方面的工作量。
对机器学习可复现性的影响和意义
PaperCoder的出现，直接针对了机器学习研究中代码缺失这一阻碍可复现性的主要问题。通过自动化代码生成的过程，PaperCoder极大地降低了验证和拓展已发表研究成果的门槛。这意味着研究人员可以更快地验证现有工作，并在此基础上进行创新。
此外，PaperCoder等自动化工具能够使前沿研究更易于获取，特别是对于那些资源有限的研究人员而言。即使研究人员不具备深厚的编程专业知识，他们也可以通过PaperCoder生成的代码来理解和复现复杂的研究方法。这有助于推动知识的更广泛传播和应用。
PaperCoder还为比较不同的研究论文提供了便利。通过自动生成代码实现，可以更容易地对不同论文提出的方法进行直接的、可靠的比较。标准化的、自动生成的代码有助于消除因人工实现差异而造成的偏差，从而促进更客观的评估。
值得一提的是，PaperCoder与Papers with Code等平台存在一定的关联。虽然Papers with Code依赖于人工贡献来链接论文和代码，但PaperCoder提供了一种自动化的方法。PaperCoder有望与这类平台形成互补，自动生成初始的代码实现，然后由社区进一步完善和共享。
PaperCoder的能力也与人工智能研究中更广泛的可复现性挑战息息相关，例如不完整的文档和代码的缺失2。通过提供自动生成的代码，PaperCoder直接解决了这些问题，为提高人工智能研究的可复现性做出了贡献。
总结
本文介绍了一种新颖的框架PaperCoder，它利用多智能体LLM系统自动将机器学习研究论文转化为功能性的代码库。为了评估PaperCoder的性能，作者构建了一个名为Paper2Code的新基准数据集，该数据集包含来自2024年顶级机器学习会议的90篇论文。实验结果表明，PaperCoder在Paper2Code和PaperBench基准上均显著优于现有的基线方法，能够生成高质量且忠实于原始论文的代码实现。人工评估也进一步证实了PaperCoder生成的代码库对于复现研究工作非常有帮助。
PaperCoder的出现是朝着提高机器学习研究可复现性和加速科学进步迈出的重要一步。通过自动化代码生成，PaperCoder有望改变机器学习研究的格局，使科研工作更加透明、高效和可信。
