一、先从近期发布推理模型的预算控制说起
字节开源Seed-OSS系列模型,支持512K超长上下文窗口和推理预算控制;Hugging Face 地址:https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct,项目地址:https://github.com/ByteDance-Seed/seed-oss
其中,预算控制问题可以在生成脚本中直接设置thinking_budget,
例如:
tokenized_chat = tokenizer.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_tensors= "pt" , thinking_budget=1024 )。 其还建议简单任务(如翻译):设置thinking_budget=128;中等复杂度任务(如常规问答):建议thinking_budget=512;复杂任务(如数学推理或代码生成):设置thinking_budget=1024,并且,优先选择512的整数倍(如 512、1K、2K、4K、8K 或 16K),因为模型在这些区间上经过了大量训练,这个训练就是加入thinking中的thinkingseed:cot_budget_reflect,用来让模型思考剩下的Budget。
另外,Nvidia推出了一款新的小参数大模型 Nemotron-Nano-9B-v2,页支持混合推理和 “思考预算” 控制,这块的细节可以在https://arxiv.org/pdf/2508.14444中找到,
但这块的机制,可以看下论文原文,
Nemotron Nano V2 允许用户指定模型在生成最终答案之前可以生成多少个思维标记。最终答案通常是展示给最终用户的文本部分。
此功能是通过在模型开始生成“ ”标记后计数标记来实现的。一旦达到预算,推理设置会尝试插入一个关闭的“ ”标记。【但是,不是立即将其插入,而是让模型完成当前句子,并在下一个换行处放置标记。】
在极端情况下,如果没有出现换行,系统会在超出预算500个标记内强制关闭:如果在第(预算+500)个标记之前没有出现换行,就会强制插入“”标记。
二、两个预算控制的外挂思路
带着文首的那个问题,可以找到有两个方案,qwen3的两步走方案 ,一个是修改LogitsProcessor的方案。
1、qwen3的两步走方案
qwen3的api支持这种预算控制的设定,但开源框架不支持,所以,qwen给开源方案指了一条路,在:https://qwen.readthedocs.io/en/latest/getting_started/quickstart.html#thinking-budget,两步走的thinking-budget的解决思路,使用Hugging Face Transformers实现。
这里有一些前提,包括:
tokenid = 151645对应 ),151668对应 ,
停止提示 : early_stopping_text = "\n\nConsidering the limited time by the user, I have to give the solution based on the thinking directly now.\n \n\n"。
首次生成不超过思考预算的token,设定max_new_tokens为thinking_budget,然后生成;
然后检查思考过程是否完成,如果思考过程未完成,则附加提前停止提示。
对应的Token ID(151668)是否存在于输出中,如果存在:说明模型在预算内已经完成了思考,无需干预。如果不存在:说明思考过程被预算中断, 将early_stopping_text注入,和上一轮输出拼接,作为新的一轮输入,进行第二次model generate。
第二次继续生成,直到内容结束或者达到长度上限,然后最后输出对应的thinking_content以及response_content
2、修改LogitsProcessor方案
这个方案的思路来自于https://muellerzr.github.io/til/end_thinking.html,,https://github.com/vllm-project/vllm/issues/15418,思路还是干预解码概率,创建LogitsProcessor,在模型生成每个token时进行检查,这个跟我们之前来做一些词预测规避做法类似。
思路是,判断当前是否处于 和 之间,计算自 开始后已生成的token数量,当数量达到thinking_budget时,强行修改下一token的概率分布(logits),将 的概率设为1.0,其余所有token的概率设为负无穷。但这个很容易造成截断。
参考问题 1、https://zhuanlan.zhihu.com/p/1936161674664051325
2、https://muellerzr.github.io/til/end_thinking.html
关于我们 老刘,NLP开源爱好者与践行者,主页:https://liuhuanyong.github.io。
对大模型&知识图谱&RAG&文档理解感兴趣,并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的,欢迎加入社区,社区持续纳新。
加入社区方式:关注公众号,在后台菜单栏中点击会员社区加入。