社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  aigc

国产算力利用率突破65%,AIGCode L3级大模型的全栈突围

东四十条资本 • 2 周前 • 58 次点击  
将东四十条资本设为“星标⭐”,第一时间收获最新推送
图片

“非共识声音是不被听进去的”。


来源丨 投中网


6月中旬,一笔600亿美元的收购给AI应用行业带来了重创和不安,之后,VC不再投AI应用的悲观论调开始发酵。


没错,这笔收购就是马斯克买下AI应用顶流Cursor,往小了说,这是一个让四个00后财富自由的故事,往大了说,这再次证明了AI应用的终局是大厂和基模的游戏。


在这,我们不评价,也不预测,只想直面一个本质的问题,对于Cursor来讲,这笔交易为何会发生?除了交易金额外,市面上比较一致的看法是没有基座模型能力的AI Coding优势不可持续,而自研成本又过高,找棵大树依靠是一个高性价比的选择。


另一个事实是AI Coding领域99%的厂商还死卷在L2代码补全(Copilot)的红海里打价格战,做不出真正端到端的代际突破。


那么AI Coding这个被看做最火热的赛道终局将走向何处?一家成立两年的公司AIGCode正在给出一个独特的全栈解法。



选那条闭环最短的路,但“非共识声音是不被听进去的”



AIGCode的创始团队是一群来自全球顶尖高校和大厂一线的技术极客。


在创业之前,一直在技术一线的CTO陈秋武发现了一个根本性的问题:很多智能不足的根源不在微调,而在基座大模型本身。“我们发现很多问题其实来自于基座大模型,而不是微调的能力。”


这个判断决定了公司的轨迹。


紧接着,陈秋武就盘点了团队的技术储备:算法能力强、基建功底深厚、架构设计经验丰富。团队在过往的技术实战屡次突破工程与算法的极限,早在2012年,便通过实时个性化推荐技术,将腾讯微博广告的点击率提升了三倍,随后在微信位置服务项目中,仅凭16台服务器便成功扛住了10亿级别的线上流量。陈秋武在微软任职期间,不仅在实时突发事件监测、实时聚类与实时排序三大算法上取得关键突破,将其成功应用于美国大选的社媒实时追踪,还针对法学院入学考试(LSAT)问答场景,完成了复杂的子句因果逻辑建模,并将系统的端到端延迟大幅降低了99.99%。这三个优势叠加,指向了一个结论,这个团队适合做基础大模型研发。


但做什么样的大模型?彼时,国内“六小虎”正风头正劲,投资人们追捧的是OpenAI路线的中国复刻者,可即便如此,陈秋武和团队还是决定不凑热闹,反而选择了一条逆主流的路——不做通用,聚焦Coding。


选择coding的逻辑只有四个字,闭环最短。陈秋武此前在垂直大模型的落地过程中体会到,如果跟行业专家团队合作,闭环太长,而Coding领域团队本身就是技术极客,“我自己做出来的东西,我自己能识别出这个智能程度够不够。”


更关键的是,他对AI编程的终局有自己的判断。


当前市场上的产品,无论是GitHub Copilot、Cursor还是Claude Code、Codex,本质上都处于L2级别,即“辅助驾驶”,需要懂代码的人在一旁盯着,反复提示、修正,模型才能产出实际可用的结果。AIGCode想做的是“自动驾驶”级别的L3:用户提出自然语言的需求,端到端完成生产级前端、后端、数据库的完整闭环。


于是,AIGCode的产品AutoCoder.cc是国内极少数能端到端生成前端、后端和数据库,并提供测试和运维部署能力的AI编程产品。陈秋武认为,这不仅仅是商业产品,更是整个技术闭环的关键一环。


他的逻辑链条是:当前所有大模型的训练数据只能提供L2级别的样本,因为L3级别的应用还没有出现。没有L3的数据,模型就无法从L2跃升到L3。因此,AutoCoder.cc的真正价值是为基座模型生产L3训练数据。“通过L3应用的搭建来形成L3的样本,通过L3样本的训练让模型达到L3级别。这是我们的核心闭环。”


他的账本是:“70%-80%投入流进算力的口袋,这种模式是不正确的畸形,至少搜广推完全不是这样。大部分收益壁垒来自算法而非算力。另一笔是L2大模型需求从提出到完成任务,需要多轮矫正,百万token弹指湮灭,而L3大模型则完成任务只需千-万级token。当训练迭代成本在千万级别时,算力就该让位于算法退居二线。”


毕竟,这是大模型时代,而不是显卡时代。


他用复杂度量化了当前的行业现状,比如电商网站的复杂度约为4,操作系统约为6,《黑神话:悟空》约为10。再到产品侧,国外竞品模型生成的复杂度大约在2左右,只能做多个单页面。对于生成一个多角色、长逻辑链路的任务,都是做不到的。


对此,陈秋武用了一个意味深长的比喻。“iPhone没出来之前,大家认为诺基亚已经非常好了。但事实上iPhone面世后,人们才真的知道有智能机这回事。”


他认为当前的大模型行业就处在“诺基亚时代”,距离真正的智能(L3/L4级别)还有本质差距。而这个差距,恰恰是创业公司的窗口。


所以,AIGCode团队正在做的事情,归根结底就是一句话:在国产算力上,通过底层研究创新提升预训练效率,通过端到端产品产生L3数据,用L3数据训练下一代模型,形成一个完整的正向循环。


他们内部也称之为“3No 范式"(No Nvidia, No L2, No Blind Scaling),即不依赖英伟达单一路线、跨越 L2 辅助、拒绝盲目堆量,直接用无需人监督任务完成度高的 L3 交互数据去训练下一代端到端 L3 级大模型,这也将导向全新的agent应用范式。


这个方向在2023年10月就确定了,但当时国内外大量投资人的共识是跟着OpenAI走,“非共识的声音(他们)是听不进去的。”



从国产代替出发,把国产头部算力的MoE MFU(混合多专家算力利用率)做到65%



再说回国产算力上,AIGCode是纯血国产模型和应用,也就是最近比较火的“零英伟达”模型。


但国产替代从来不是一条容易的路,我们前几天曾在寒武纪市值破万亿时写到这是最朴素的现实主义,AIGCode的故事同样如此,因为没得选,所以只能走好脚下的路。


2024年3月,成立不久的AIGCode在算力紧张的困境下,登上了某国产算力的训练集群,开始了在国产芯片上的大模型预训练。


这是一条几乎没有创业公司愿意走的路——自研基座模型,同时深度优化国产算力生态,还要做端到端的AI编程产品。


“一开始确实是因为算力紧缺。”AIGCode CTO陈秋武坦率地承认。但两年后,这支小而精的团队在国产算力集群上实现了MoE架构65%的算力利用率(MFU),这个数字超过了字节Seed在2025年10月公布的MoE效率纪录,这也意味着,一张国产卡,被他们当成了两张用。


团队把预训练中闲置的CPU资源,吞吐量优化到300倍,矩阵乘计算性优化到100倍,承接显卡冷门长尾专家的计算,把HBM利用率与全局/微批次提高双倍。整体训练提效35%,而在增强后训练,通过CPU TB级内存双副本指针切换,免去采样→训练→推理多线频繁上下文切换性能理论上限提效数十倍。


更重要的是,他们试图证明一件国内大模型行业几乎无人相信的事,只做应用层不够,只做模型层也不够,必须从底层基础研究、预训练效率到产品端完成真实长程任务,垂直打通整条链路,才能触达下一代大模型的门槛。


真正让团队与国产算力深度绑定的,是2025年底国产头部算力的负责团队的一次深度交流,双方团队达成了合作方向:把该算力体系下MoE的MFU提升上去。


“我们一开始设定的目标是50%。”


结果远超预期。2026年2月底,36.3%;3月底,50%;4月14日,65%。


这背靠的是极致的底层技术突围。在大模型时代,算法、工程、产品与商业化高度交织,常规的割裂分工模式已然失效。我们的核心成员必须是兼具“算法+工程”能力的复合型人才,深度精通大模型算法及训练推理框架底层、高性能优化会用C语言甚至汇编、超节点统一内存池管理、超节点架构及分布式异步通信优化等深水区技术,这是很多团队技术很难触达的范围。


外界常将团队的战斗力简单归结于AI Native,但这只是冰山一角,大模型赛道创业成功的核心在于领导者是否“懂技术、贴一线”。面对大模型的复杂链路,传统“脱产纯管理”的模式已无法胜任,大厂还要解决部门墙的天堑,只有深入技术细节、直接主导技术决策的掌舵人,才能真正带兵打硬仗。


不可否认,国外硬件生态早已达到“好用”的标准,而头部的国产算力目前仍处于从“可用”向“好用”过渡的阶段。但只要自身技术底子够硬,AIGCode的团队通过极致的软件优化,去抹平这道硬件上的鸿沟。


陈秋武把这种角色定位为国产算力生态的“Windows”,他进一步解释,正如Intel的CPU需要Windows才能被普通用户使用,国产算力硬件也需要他们这一层的软件积累才能真正好用。



18个月磨一剑:被忽视的基础研究



如果说算力适配是“体力活”,那么基础研究就是AIGCode最核心的“脑力”投入。


梁文锋说过,你一定要在技术领域做出一些突破才有可能。在陈秋武看来,大模型还属于少年期,很多技术机制还不完善。在这种情况下,堆人力、堆资金、堆钱都没有太大用处。


在这种观念和信仰的驱使下,AIGCode团队花了18个月研发出了TPE(树形位置编码),彻底取代了业界通用的RoPE方案。


陈秋武给出了一组让业内惊艳的数据:


外推能力是RoPE的8倍;在8倍以上外推时,搜索性能仍保持近90%;而RoPE在4倍以上性能就急剧下降,8倍以上“搜索性能接近于零”。


技术原理上,RoPE是线性算法(加法),TPE是乘法结构,四层各1K的乘法可达TB级别的无损位置表达。“1Kx1Kx1Kx1K,四次相乘就是1T级别。而RoPE本质上是高频外推、低频内插,大模型是概率模型,分布变形会影响效果。”


更让他惊奇的一个发现是:只要跟RoPE反着来,你会发现有比较大的收益。我们取消了RoPE之后,竟然带来了额外的收益。


当然,TPE的突破只是一个开始,基于TPE,团队进一步做出了TPA—业界首个无损线性注意力机制。


陈秋武解释,目前流行的KDA、DSA等方案本质上是有损的,具体做法是通过丢弃或降权他们认为不重要的远距离token来实现线性复杂度,但其实(这些token)并不是不重要,只是RoPE的位置编码导致越远的token贡献越低丢弃影响不大而已。


而TPA通过乘法方式实现完全无损的线性注意力,训练成本、显存占用与原版对齐,性能却是RoPE的8倍。Loss收益方面,TPA达到0.113,而近期引起关注的Muon优化器相比AdamW在实验条件下的loss收益不到0.02。


有了这两个前提,陈秋武和团队还提出了两阶段规律学习,这是他们琢磨最多的创新之一。


陈秋武将预训练过程类比为登山,常规训练每次都从山脚爬到山顶,而两阶段学习则是在山腰和山顶之间建了一部“缆车”。


展开来讲,模型在预训练中学的是token拼装成的embedding,为了在任意上下文中预测准next token,它要把知识点梳理成更高压缩比的神经元表达方式。这就是涌现能力的来源,但涌现能力不是必然发生的。


目前大模型的有效上下文边界是预训练全注意力的4K乘以RoPE的8倍外推,即32K。在此范围内,模型具备上下文学习、推理、归纳的能力;超出这个范围,能力大幅衰减。两阶段学习的目标是,把浪费在重复拟合常见分布上的神经元节约出来,集中到涌现能力的学习上。


除此之外,AIGCode还提出了专家解耦架构(PLE),一个对当前主流MoE架构的根本性改造。传统MoE的门控网络用softmax概率选择专家,AIGCode的做法是用注意力机制中的QK矩阵,来选专家,让每个专家拥有明确语义感知的“知识领地”。


陈秋武用仓库管理做类比,原来是在桌子上等分画了16个区域,至于区域里放什么完全靠概率。现在我们把左上角定义为小件生活用品区,右下角定义为大件柜子区,这就是有意义的。


这项研究源于2024年3月基于国产算力集群的预训练,该成果LokiFormer已被ICML 2026录用,“两年前的结果,到现在还能拿到最新的学术认可。”陈秋武对此感到满意。


学术之外,在商业化上,AIGCode也迎来了进展,“原来他们需要采购二三十个SaaS组件,现在用我们的AutoCoder.cc,15-20分钟就能有一个完整的前端、后端和APP。”


一个有趣的现象是,AutoCoder.cc目前60%的付费用户来自,一个纯国产国产AI应用面向的主要是海外中小企业主,这本身就是一场突围。也证明了依靠纯国产算力,扎根底层技术创新,是完全能够走出一条新路的。


当前,这条路也成为了越来越多公司的共识。


日前,美团LongCat-2.0正式发布,这是业界首个在五万卡国产算力集群上完成训练与推理全流程的万亿参数大模型,也是首个从训练到推理,全程由国产算力独立完成的万亿规模全流程跑通。更早之前,DeepSeek V4也完成了从英伟达CUDA生态到华为昇腾等国产平台的迁移与适配。


这让我想到,在交流过程中,陈秋武从宏观视角给出的判断:中国的增速曲线高于美国,国产算力生态的加速度高于英伟达。英伟达虽然是半垄断地位,但成本太高,存量消耗完了,增量就小于国产算力生态的增量,中国人再把性价比打上去这件事,比海外强很多。


如今,国产算力生态正在成为主流,属于AIGCode的故事也将告别非共识,走到舞台中间,被认可和看见,并在这场被认为只有大厂才有资格入场的游戏中,走得更好更远。


图片

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/198563