刚刚，中午的时候，DS在hugging face上开源了2个新模型，外加一个github上的训练框架DeepSpec。不过，模型权重本身还是v4，只不过外挂了一个推理加速模块。 新v4，可以让每个用户生成速度快上60%到85%（Flash）、57%到78%（Pro），而且整体吞吐还不降。该框架已部署于DeepSeek-V4的线上服务系统。快速看了下方案，还是用的投机采样，但是做了细节优化。 投机采样原理很简单：自回归模型一个字一个字往外蹦太慢，那就找一个又小又快的草稿模型先把后面几个字猜出来，大模型一次性扫一遍，猜对的直接用、猜错的地方才自己重写。因为最后还是大模型来验，结果和它自己慢慢写出来的一模一样，是无损的。但难点全在草稿模型上，怎么又快又准。 以前是2条路线：一条是让草稿模型也一个字一个字写，准是准，可它一慢，加速本身就没意义了。另一条是让它一口气把后面几个字并行全猜出来，快，但每个字各猜各的、互相不商量，越往后越容易翻车。 比如下文该接 of course 还是 no problem， 并行输出，很可能就变成了of problem。Dspark的解法，主体还是并行的快草稿，但在后面挂了一个很轻的串行小头，专门干一件事：前一个字定了，就提醒后一个字跟着走，别再各写各的。就这么个小补丁，几乎不加延迟，就可以把后半段的准确率拉了回来。就加这一个方案，接受的草稿长度比之前最强的并行方案还能再多16%到18%。第二个trick就更有意思了。 草稿不是猜得越长越好，一口气猜10个字，后面那几个大概率要被打回，验证它们纯属白占大模型的算力。高并发的时候，这点浪费会把整个系统的吞吐拖垮。DSpark给每个猜出来的字都配了个存活概率，再看当前服务器有多忙，动态决定这一轮验几个：闲的时候放开赌、一次验四五个，忙起来就只验最有把握的、砍回两个。现在官方的生产环境ds跑的就是这套东西，所以会感觉比其他服务商的快很多。 而且啊，ds还连同训练框架一起开源了，拿开源模型可以，直接往上套。ds还是那个ds，执着于各种infra层建设，还都开源出来。只能说梁圣威武了，赶紧把多模态端上桌吧！开源地址：https://github.com/deepseek-ai/DeepSpec模型地址：https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-DSpark/tree/main
