阿里达摩院最新！VL-Cogito：PCuRL 框架革新多模态推理，登顶主流基准

点击下方卡片，关注“大模型之心Tech”公众号

戳我 -> 领取大模型巨卷干货

今天大模型之心Tech为大家分享阿里达摩院最新的多模态推理模型VL-Cogito及其训练框架PCuRL。如果您有相关工作需要分享，请在文末联系我们！

>>点击进入→大模型技术交流群

本文只做学术分享，如有侵权，联系删文

论文标题：VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning

论文链接：https://arxiv.org/pdf/2507.22607

作者单位：阿里达摩院等

项目主页：https://github.com/alibaba-damo-academy/VL-Cogito

研究背景：多模态推理的"阿喀琉斯之踵"

随着GPT-4V、Qwen2.5-VL等模型的崛起，多模态大模型已经能够理解图像、图表、公式等复杂信息，但在跨领域推理任务中仍存在明显短板。

现有模型面临的核心困境主要有两点：一是性能不稳定，在数学、科学、逻辑等不同领域表现波动较大，在简单任务上可能"用力过猛"，在复杂任务上又会"思考不足"；二是推理效率低下，要么为追求准确性生成冗长冗余的推理链，要么为节省算力简化必要的推理步骤。

造成这些问题的根源在于传统训练方法的局限性：大多数多模态模型采用"一刀切"的训练策略，既不区分任务难度，也不考虑推理过程的合理性。正如论文中指出的："现有模型往往 indiscriminately延长推理长度，要么牺牲效率，要么牺牲正确性。"

达摩院团队意识到，人类的学习过程为解决这些问题提供了完美范本——从易到难的课程设计（Curriculum Learning）和按需调整的思考深度，正是提升推理能力的关键。

PCuRL框架：让大模型像学生一样"循序渐进"

图1 所提出的渐进式课程强化学习（PCuRL）框架概述。它包含两个关键组件：（1）一个多阶段课程强化学习结构，该结构利用在线难度软加权机制，根据任务难度将训练过程划分为不同阶段；（2）一个动态长度奖励机制，该机制鼓励模型根据任务复杂度调整其推理链长度，而非不加区分地增加长度。在简单阶段，模型倾向于为相对简单的问题分配更高的权重以进行策略优化，这种模式同样适用于中等阶段和困难阶段。

VL-Cogito的突破性表现，源于其独特的PCuRL训练框架。这个框架包含两个核心机制，如同为大模型配备了"智能教学大纲"和"思考调节器"。

在线难度软加权：定制"阶梯式课程"

传统的多模态模型训练就像让学生同时做小学算术和大学微积分，效率低下且效果有限。PCuRL框架的在线难度软加权机制（ODSW） 则借鉴了人类教育中的"循序渐进"原则，将训练过程分为简单、中等、困难三个阶段。

在每个阶段，模型会根据预设的难度函数F调整训练数据的权重。这个函数基于"可学习性理论"设计——那些模型正确率接近50%的任务被认为最具学习价值，就像人类学习中"跳一跳能够到"的挑战题。

与传统的"硬过滤"方法不同，ODSW采用"软加权"策略：

简单阶段：给容易任务分配更高权重，帮助模型建立基本推理模式
中等阶段：平衡各类难度任务，促进推理能力的平稳过渡
困难阶段：侧重高难度任务，推动模型突破推理瓶颈

这种设计的精妙之处在于，它既保证了每个阶段的训练重点，又不会完全忽略其他难度的任务，就像优秀教师在重点讲解当前知识点时，也会适当回顾旧知识、预告新知识。

动态长度奖励：学会"量体裁衣"思考

另一个创新点动态长度奖励机制（DyLR） 则解决了推理效率的难题。传统模型要么强制生成固定长度的推理链（如余弦奖励机制），要么完全不限制长度，导致"想太多"或"想太少"的问题。

DyLR机制的核心思想是：推理长度应该与任务复杂度匹配。具体而言：

对于每个问题，模型会参考历史正确答案的平均长度，确定合理的推理长度目标
对于尚无正确答案的难题，鼓励模型延长推理至预设最大长度
通过余弦函数计算长度奖励，既避免推理过短导致的疏漏，又防止推理过长造成的冗余

实验数据显示，采用DyLR的模型在数学难题上会生成平均500词以上的推理链，而在简单的图表理解任务上则自动缩减至200词以内，这种自适应能力让推理效率提升了30%以上。

性能验证：横扫10项基准，刷新多模态推理上限

为验证VL-Cogito的实力，研究团队在数学、科学、逻辑、图表理解等多个领域的10项主流基准上进行了全面测试，结果令人瞩目。

表1 VL-Cogito与其他多模态大型语言模型（MLLMs）在一系列多模态推理基准测试中的性能对比，这些基准测试涵盖数学、科学和通用领域的任务。所有基线模型均在相同的实验条件下重新评估，以确保比较的公平性；括号中显示的值是相应原始论文中报告的结果。对于训练过程中存在基准测试数据污染的模型，我们剔除了其结果，标记为“-”。加粗和下划线分别表示最佳和次佳分数。

在数学推理领域，VL-Cogito在Geometry@3K数据集上达到68.7%的正确率，超过VL-Rethinker（67.7%）和MM-Eureka（67.2%），成为当前最佳；在MathVista测试中，其74.8%的成绩领先第二名MMR1（73.6%）1.2个百分点，展现出处理复杂几何问题和数学图表的超强能力。

科学推理方面，VL-Cogito在EMMA数据集上以29.1%的成绩位居榜首，超过VL-Rethinker（28.6%）和MMR1（28.1%）。值得注意的是，EMMA数据集包含大量需要跨模态知识整合的科学问题，如根据实验图像推断物理定律，这表明模型已具备一定的科学研究思维。

在逻辑推理和图表理解任务中，VL-Cogito同样表现抢眼：LogicVista数据集48.9%的正确率，ChartQA数据集83.4%的成绩，均刷新了现有模型的最佳记录。尤其在需要结合视觉信息和逻辑规则的 Raven 测试中，其表现远超传统多模态模型。

更值得关注的是，VL-Cogito是在没有经过冷启动监督微调（SFT） 的情况下取得这些成绩的。它直接基于Qwen2.5-VL-Instruct-7B骨干模型，通过PCuRL框架训练而成，这不仅证明了新框架的高效性，也为简化多模态模型训练流程提供了新思路。

消融实验：解密各组件的"贡献密码"

为了弄清PCuRL框架中每个组件的具体作用，研究团队进行了严谨的消融实验，就像拆解精密钟表来理解每个齿轮的功能。

渐进式课程的关键价值

表2 PCuRL框架的组件级性能分解，其中“+Curriculum”和“+DyLR”分别表示在GRPO中添加渐进式课程策略和动态长度奖励。加粗和下划线分别表示最佳和次佳分数。

实验对比了"纯GRPO"、"GRPO+课程策略"、"GRPO+动态长度奖励"和完整PCuRL四种配置的性能。结果显示，仅加入渐进式课程策略就能使平均正确率提升0.8个百分点，尤其在LogicVista（+3.5%）和MathVista（+2.6%）等需要复杂推理的任务上效果显著。

这说明循序渐进的训练方式确实能帮助模型建立更稳健的推理能力，就像人类先掌握加减再学习乘除，基础扎实后才能应对复杂运算。

动态长度奖励的增效作用

图3 采用不同长度奖励策略训练的模型的性能对比。“Dynamic- (N')”表示在课程强化学习的最后阶段采用我们的动态长度奖励且目标长度为N的模型（数据来源：Highcharts.com）。“Fix-N”指采用固定长度奖励训练的模型，该策略强制所有响应的目标长度固定为N。我们将选定基准测试中的平均响应长度和整体准确率进行了可视化呈现。

当单独加入动态长度奖励时，模型在部分任务上的表现有所提升（如MathVerse+0.3%），但整体效果不如课程策略明显。然而，当它与课程策略结合时，产生了显著的协同效应——平均正确率达到59.5%，比单独使用课程策略高出0.6个百分点。

更深入的分析发现，DyLR在困难阶段作用尤为突出：在MathVision任务上，它使模型正确率提升1.3%，同时将平均推理长度从320词优化至410词，证明其能精准把握复杂任务所需的推理深度。

软加权vs硬过滤：细微差别带来巨大差距

表3 在我们的渐进式课程强化学习设置中，对在线难度软加权（ODSW）进行的消融研究。“Binary”表示二进制加权策略，其中我们评估了三个难度范围([T_{min}, T_{max}])；ODSW“Easy”、“Medium”和“Hard”分别表示在强化学习训练过程中仅使用这三种ODSW变体。加粗和下划线分别表示最佳和次佳分数。

在难度加权机制的对比实验中，ODSW软加权策略以58.7%的平均成绩远超传统的二进制硬过滤方法（55.9%-58.3%）。特别是在数据分布不均衡的场景下，软加权的优势更加明显——它能让模型在关注目标难度任务的同时，兼顾其他难度的任务，避免"偏科"。

实验还发现，过度侧重简单任务会导致模型推理能力停滞不前（ODSW Easy仅58.0%），而适当挑战高难度任务（ODSW Hard 58.7%）则能显著提升综合能力，这与教育心理学中的"最近发展区"理论不谋而合。

案例解析：看VL-Cogito如何"思考"

通过具体案例，我们能更直观地理解VL-Cogito的推理优势。在一道关于30-60-90三角形的几何题中，模型展现出简洁高效的推理风格：

图5 VL-Cogito的案例研究，案例样本来自多个基准测试，包括MMStar、ScienceQA、Geometry@3K和MathVision。

"要解决这个直角三角形中的a值，需利用30-60-90三角形的性质。在这种三角形中，边长比例为1:√3:2，30度角对边是斜边的一半。已知斜边c=5，因此a=5/2=2.5。"

整个推理过程仅用3句话，既准确又简洁，体现了对简单问题的高效处理能力。

而在一道关于外切圆面积计算的复杂问题中，模型则展现出层层递进的深度推理：

首先确定两个小圆的半径分别为2和3，圆心距为5
初步错误应用勾股定理计算外接圆半径，得到√13
自我反思后纠正错误：外接圆半径应为圆心距加上小圆半径，即5
计算各圆面积并得出阴影区域面积为25π-9π-4π=12π

这个案例不仅展示了模型处理复杂问题的能力，更体现了其自我反思的特质——能识别推理过程中的错误并修正，这正是高级推理能力的核心标志。

总结

VL-Cogito的成功不仅体现在性能指标上，更重要的是它为多模态推理模型的训练提供了新范式。其核心启示包括：

** curriculum learning的价值再发现**：在追求大模型和大数据的潮流中，VL-Cogito证明，精心设计的训练顺序和难度梯度可能比单纯增加数据量更有效。
动态适应机制的重要性：推理不是越长越好，而是越合适越好。这种"量体裁衣"的思路为平衡大模型的效率与性能提供了新方法。
无SFT训练的可能性：直接通过RL训练提升模型能力，简化了多模态模型的训练流程，降低了对高质量标注数据的依赖。

大模型之心Tech知识星球交流社区

我们创建了一个全新的学习社区 —— “大模型之心Tech”知识星球，希望能够帮你把复杂的东西拆开，揉碎，整合，帮你快速打通从0到1的技术路径。

星球内容包含：每日大模型相关论文/技术报告更新、分类汇总（开源repo、大模型预训练、后训练、知识蒸馏、量化、推理模型、MoE、强化学习、RAG、提示工程等多个版块）、科研/办公助手、AI创作工具/产品测评、升学&求职&岗位推荐，等等。

星球成员平均每天花费不到0.3元，加入后3天内不满意可随时退款，欢迎扫码加入一起学习一起卷！