社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

如何通过外挂实现大模型思考预算控制?qwen3的两步走及LogitsProcessor方案

老刘说NLP • 1 年前 • 1306 次点击  

今天是2025年8月24日,星期日,北京,晴

我们今天来看看推理大模型的思考问题,最近开源的DeepSeek-V3.1、字节开源Seed-OSS、Nemotron-Nano-9B-v2等模型,都表现出混合推理以及思考预算控制的事情。

实际上,这个在之前就已经出了不少这方面的模型,如OpenAI使用reasoning.effort等参数来暗示模型的思考深度,如high, low, medium,Anthropic使用budget_tokens或特定提示词(如"think"、"think hard"、"think harder"、"ultrathink");Gemini以及Qwen使用thinking_budget参数设置。

所以,除了训练模型本身,能否有其他外挂的方式来做呢?可以来细看思考预算控制的一些逻辑。

多总结,多归纳,多从底层实现分析,会有收获。


一、先从近期发布推理模型的预算控制说起

字节开源Seed-OSS系列模型,支持512K超长上下文窗口和推理预算控制;Hugging Face 地址:https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct,项目地址:https://github.com/ByteDance-Seed/seed-oss

其中,预算控制问题可以在生成脚本中直接设置thinking_budget,

例如:

tokenized_chat = tokenizer.apply_chat_template(
    messages, 
    tokenize=True, 
    add_generation_prompt=True, 
    return_tensors="pt", 
    thinking_budget=1024
)。

其还建议简单任务(如翻译):设置thinking_budget=128;中等复杂度任务(如常规问答):建议thinking_budget=512;复杂任务(如数学推理或代码生成):设置thinking_budget=1024,并且,优先选择512的整数倍(如 512、1K、2K、4K、8K 或 16K),因为模型在这些区间上经过了大量训练,这个训练就是加入thinking中的thinkingseed:cot_budget_reflect,用来让模型思考剩下的Budget。

另外,Nvidia推出了一款新的小参数大模型 Nemotron-Nano-9B-v2,页支持混合推理和 “思考预算” 控制,这块的细节可以在https://arxiv.org/pdf/2508.14444中找到,

但这块的机制,可以看下论文原文,

Nemotron Nano V2 允许用户指定模型在生成最终答案之前可以生成多少个思维标记。最终答案通常是展示给最终用户的文本部分。

此功能是通过在模型开始生成“”标记后计数标记来实现的。一旦达到预算,推理设置会尝试插入一个关闭的“”标记。【但是,不是立即将其插入,而是让模型完成当前句子,并在下一个换行处放置标记。】

在极端情况下,如果没有出现换行,系统会在超出预算500个标记内强制关闭:如果在第(预算+500)个标记之前没有出现换行,就会强制插入“”标记。

二、两个预算控制的外挂思路

带着文首的那个问题,可以找到有两个方案,qwen3的两步走方案,一个是修改LogitsProcessor的方案。

1、qwen3的两步走方案

qwen3的api支持这种预算控制的设定,但开源框架不支持,所以,qwen给开源方案指了一条路,在:https://qwen.readthedocs.io/en/latest/getting_started/quickstart.html#thinking-budget,两步走的thinking-budget的解决思路,使用Hugging Face Transformers实现。

这里有一些前提,包括:

tokenid = 151645对应),151668对应 ,

停止提示: early_stopping_text = "\n\nConsidering the limited time by the user, I have to give the solution based on the thinking directly now.\n\n\n"。

首次生成不超过思考预算的token,设定max_new_tokens为thinking_budget,然后生成;

然后检查思考过程是否完成,如果思考过程未完成,则附加提前停止提示。

对应的Token ID(151668)是否存在于输出中,如果存在:说明模型在预算内已经完成了思考,无需干预。如果不存在:说明思考过程被预算中断, 将early_stopping_text注入,和上一轮输出拼接,作为新的一轮输入,进行第二次model generate。

第二次继续生成,直到内容结束或者达到长度上限,然后最后输出对应的thinking_content以及response_content

2、修改LogitsProcessor方案

这个方案的思路来自于https://muellerzr.github.io/til/end_thinking.html,,https://github.com/vllm-project/vllm/issues/15418,思路还是干预解码概率,创建LogitsProcessor,在模型生成每个token时进行检查,这个跟我们之前来做一些词预测规避做法类似。

思路是,判断当前是否处于和之间,计算自开始后已生成的token数量,当数量达到thinking_budget时,强行修改下一token的概率分布(logits),将的概率设为1.0,其余所有token的概率设为负无穷。但这个很容易造成截断。

参考问题

1、https://zhuanlan.zhihu.com/p/1936161674664051325

2、https://muellerzr.github.io/til/end_thinking.html

关于我们

老刘,NLP开源爱好者与践行者,主页:https://liuhuanyong.github.io。

对大模型&知识图谱&RAG&文档理解感兴趣,并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的,欢迎加入社区,社区持续纳新。

加入社区方式:关注公众号,在后台菜单栏中点击会员社区加入。



Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/185935