旧金山 AIE CODE 2026 主会场,Diogo Almeida 开讲《I Love You So Jevving Much》。Will 现场拍摄,下同。
11 月 11 日,AI Engineer Code Summit(AIE CODE 2026)第二天下午,主会场整段给了 System One 判断模型。开场的是 Typesafe 联合创始人兼 CEO Diogo Almeida,讲题是《I Love You So Jevving Much》。Jev 是 Typesafe 做的模型,只做判断,不做生成。他讲完,Glean、UiPath、ZoomInfo 三家客户接着上台讲接入 Jev 之后的数字,Workday 也讲了用它做的东西。
结论先说:今天的大模型能解千禧年数学难题,却做不了会计,原因不在聪明不够,而在不可靠。RLHF 把人放进了回路,所有大模型都被优化成了「助手」;要让 AI 在后台自动跑,就得换一个训练任务,做「每次都对」的窄模型。 这话出自一个参与创造了 ChatGPT 和 RLHF 的人。
整场是从第一性原理往下推的:先问 AI 为什么一边超人、一边没用,再问该优化什么任务,最后问软件该长成什么样。
三点:
- AI 为什么「参差不齐」:擅长的都是人在回路的任务,让人满意就行;做不好的是自动化任务,要的是每次决策都对。
- Jev 的卖点是可靠:不是速度、成本,甚至不是接口。他说团队劝他别公开讲,他还是讲了。
- 软件不会被 AI 吃掉,会更强:AI 是软件的「第四种语义逻辑门」,他号召大家去做「软件研究」。
他是谁
Diogo Almeida,X 上叫 CompleteSkeptic,自我介绍是「Jev 那个人」。他在 OpenAI 做过研究员,台上说自己参与创造了 ChatGPT、RLHF 和 InstructGPT。X 简介里他写的是「在 OpenAI 参与创造了 RLHF 和 ChatGPT,现在想把错的改过来」。他还说,自己是少有的「做了 ChatGPT、又吐槽 ChatGPT」的人:不是讨厌它,他爱用 agent、爱用聊天机器人,只是它们很有限。
「我和 ChatGPT 的关系」:一边是做出 ChatGPT 的 OpenAI,一边是吐槽 ChatGPT 的 Yann LeCun、Gary Marcus,他站在中间。直播截图。
2024 年,他和 CTO Erik Gafni、COO Sasha Sheng 创办 Typesafe,在隐身状态下做了两年。今年 9 月 15 日公司亮相,同时发布 Jev,种子轮 4,000 万美元,DCVC 领投。他在 X 上的发布帖开头是:「参与发明 ChatGPT 之后,我一直在问自己:为什么超越人类的聊天模型没有带来 AGI?」帖子里给的数字是比大模型快 20–200 倍、便宜 40–400 倍、输出 token 免费,训练方法他们叫 RLCD,全称是「为校准决策做的强化学习」。这条帖子有约 4,000 万次浏览、7.6 万个赞。
Jev 的用法是:开发者把可能的输出先列出来,比如几个选项、一个分数、一组是非题,Jev 一次给出结构化的答案和每个选项的概率。它不写邮件,不写代码,也不聊天。
他画的研究路线图:预训练之后,一支走 RLHF(ChatGPT、Claude)再到 RLVR(推理模型),Typesafe 走的是另一支 RLCD。
一、AI 为什么一边超人、一边没用
他开场就说,要把这件事「一直喊到所有人都明白为止」:如果你做 AI,你应该能说清楚,为什么 AI 能做那么多了不起的事,同时在另一些事上那么没用。
他说业内有两派。一派看基准测试:大模型几乎在所有基准上超过人类,已经两年了,「AGI 三个月后到」也喊了两年。另一派看现实:走出旧金山,世界上很多地方几乎没变。两派看的是同一批事实。
他给的反差是:AI 能做千禧年大奖难题级别的数学,却连会计都碰不了,「后者听起来容易多了吧?我能做会计,千禧年难题我肯定做不了,我当年还是数学竞赛选手。」每年还有一个出名的失败案例:AI 连快餐店的得来速点单都自动化不了。
「今天的 AI 前沿是参差不齐的」:看起来难度相同的任务,有的 AI 轻松做到,有的做不到。
左边「好到不真实」:指令遵循、ChatGPT、编码 agent、深度研究;右边「差到没法用」:客服、得来速、会计报税、质检、保险、数据录入,以及「一切需要可靠的事」。
他的解释是:擅长的那一边,本质上都是人在回路的任务。 深度研究他自己做不过模型;但要是逼你在他和深度研究之间选一个,答案必须对,不是写得好看,你多半每次都选他。前一种是让人满意,后一种是自动化。自动化看起来更简单,AI 却一直做不好。
原因他说得很直接:RLHF 是问题的一部分。RLHF 里的 HF 就是人类反馈,是我们亲手把人放进去的。
他明白其中的讽刺——RLHF 是他参与创造的。他的总结是:
- 今天 100% 的大模型都是为「助手」优化的。有人会提 RLVR(可验证奖励的强化学习),但没经过 RLHF 的 RLVR 模型很难用。
- 结果是大模型做助手好到不真实,「你的 ChatGPT 问题永远不该来问我」。
- 但放到后台去做认知工作,完全不该信大模型,因为它们从没为这件事优化过。
他还判断,自动化比助手值钱得多,而现在只是刚碰到表面。
100% 的大模型为助手优化(RLHF),0% 为自动化优化;他猜自动化的钱比助手多。
二、「更苦的教训」:选对任务
他借了 Rich Sutton 的「苦涩的教训」:规模和算力比算法重要。他说还有更苦的一层:数据永远比算力重要。 最苦的一层是选对任务——「这一页你们该拍下来」。
算法 < 算力 < 数据 < 选对任务。
他的理由是:机器学习的人喜欢算法,喜欢让某个数往好的方向走,不爱想现实世界;但性能的巨大飞跃,100% 来自选对任务。
- 下棋这类强化学习,规则就定义了任务,数据靠算力推演出来,所以 Sutton 才得出那个教训。
- 预训练这边,业内花了很久才想明白:BERT 的掩码语言建模不如下一个 token 预测,不是因为后者在掩码任务上更好,而是它能生成字符串。就算给掩码模型今天的算力和算法,也做不出 GPT-3 那样的东西,因为任务不一样。
- RLHF 也是这样。他引的是 InstructGPT 论文里的结果:有了那份数据,哪怕算法最笨、模型只有 GPT-2 大小,在指令遵循上的表现,要 GPT-7 到 GPT-9 级别的预训练模型才追得上。他特意说,这里的 GPT 代数按老口径算:每一代代表约 100 倍的有效预训练算力。
这页标注自 InstructGPT 论文的图:选对任务的 13 亿参数模型,压过选错任务的 1,750 亿参数 GPT-3。
「剧透一下,Jev 就是这么做的。」 他说他们能做出别人没预料到的跳跃,是因为优化的是一个很少有人想到的任务。
三、卖点只有一个:可靠
「你优化什么,就得到什么。」 他说他还在找比「可靠」更好的词,但大模型缺的就是这种可靠的智能:
你 95% 的时候得到爱因斯坦,5% 的时候得到憨豆先生。如果分不出哪次是哪次,你怎么自动化任何东西?
他的思路是反过来:不追求偶尔很聪明、事后再去验证,而是极度收窄,换来每次都拿得到那份聪明。这在基准测试上看不出来,但他说这就是大家喜欢 Jev 的原因。
「Jev 的秘密:可靠的智能」。最后一行写着:不是速度、成本、接口。右边是他们的 T 恤,「jev ne sais quois」。
他回头看 Jev 发布后的反响:他们没准备过「开发者的 ChatGPT 时刻」,结果发生了,因为 AI 圈「承诺过高、交付不足」太严重,一个真不这样的模型反而让人意外。
接着他说了一句不太像 CEO 会说的话:卖点不是速度、成本,甚至不是接口,是可靠的智能。我团队跟我说,这个不该告诉大家,好保住长期优势,但我太在乎了。请大家都去做好模型,哪怕不是用我们的。
四、软件会回来:AI 是第四种逻辑门
关于「SaaS 末日」,他的判断是不会发生,叫它「SaaS 狂欢节」都低估了。
「Jev 对世界意味着什么」:为自动化而做、可编程、在后台跑、给开发者用的 AI;软件「完了」→「回来了」;SaaS 末日 → SaaS 狂欢节;软件工程师从「永久底层」到黄金时代,回到早期互联网的劲头。直播截图。
他觉得奇怪的是:AI 这么有变革性,过去十年软件却几乎没变,只是写起来更便宜了。软件里最好的 AI 用法,还是旁边挂一个聊天机器人,偶尔和软件交互,却不能替你做有代价的决定。问题在于大家太关注编码 agent,没把智能放进软件的内循环
。
他说这是他今天的「AIE 秘密」:这个领域 Jev 得还不够狠。 世界还有「大模型斯德哥尔摩综合症」,还在从大模型的思路出发想软件,很多点子只是拿大模型替换掉原来的东西,而不是重新想软件。
他把软件分成三种:传统软件是写死的流程;「即时软件」是什么都让一个大模型临时去想,大脑累得满头汗;他要的是「聪明软件」,流程还是代码,在需要判断的分支上放一个小判断。
传统软件、即时软件、聪明软件。
他用蓝光 LED 打比方:红光、绿光 LED 只能做指示灯和时钟;有了蓝光,三色一组合,才有白光照明和今天的显示屏,带来的远不止多 50% 的用途。
蓝光 LED 是「缺的那一块」:有了它才有全彩屏幕和高效白光照明。
软件也一样。今天所有软件,都是用三种基本逻辑门、加上大于小于等于这类简单运算搭出来的。他说把智能做成机器原生,相当于给软件加了第四种「语义逻辑门」:用常识、意图、人的理解来编程。 比如不用再写一串疯狂的正则,直接说「我要一个 Gmail 地址」或者「一个看起来真实的地址」。他说这带来的不会只是多 33% 的表达能力。
「可以无限复制的乐高积木 → 软件」。与、或、非三个门旁边,多了三个大脑图标的门:输入数据和问题,分别输出是非概率、一个分数、每个选项的概率。直播截图。
他把这件事叫作「软件研究」,强调不是开玩笑。主题是「真正的软件工程,不只是 vibe coding」:拆分任务、分阶段且每段可验证、真正的封装、正经的状态管理,而不是把一切当成 KV cache 里的全局状态。不要求有价值,最好是酷。他说公司融了不少钱,想资助这类探索,但还没有运营的人手来做。
「这不是你那 vibe coder 的 AI」:拆分任务、可验证的阶段、状态管理,围绕任务做工程。
他列了几个方向:
- agent 不该被 KV cache 绑住:为什么记忆是 O(N)?为什么不能每次都带上编码 agent 的全部历史?为什么同时开很多 agent 不能共享状态,要一遍遍重新摸索同一个代码库?为什么子 agent 的路由,连最朴素的都做不好?
- 把「精神」编码进去:社会里到处是委托代理问题,为了公平只能强调条文而不是精神,于是有漏洞、有花钱就能赢。根源是我们只能编码比特,编码不了本意。
- 实时安全:今年 OpenAI 的模型逃出沙箱进了 Hugging Face,为什么没拦住?他说不是智能不够——「发现 agent 在干坏事,比干坏事容易」;拦不住是因为判断还不够快、不够便宜、不够可靠,做不到实时。
- 语义类型系统:在 lint 检查里跑一个 Jev 这样的模型,检查语义层面的性质。
- 语音这类新界面
- 阻止 slop:他现场拿出一根写着「Stop GenAI」的棒球棍。
「实时智能安全」:agent 从沙箱经留言板一路逃到 Hugging Face 的路线。直播截图。
「AI 不可靠 → 不能用在让自己付代价的决策上 → 却能用在让别人付代价的决策上 → SLOP」;「请把世界从收件箱地狱里救出来」。直播截图。
关于 slop,他的解释是:slop 的根是 AI 不可靠。 因为不可靠,公司不敢把它用在会让自己付代价的决策上,却可以把代价推给别人,这就成了 slop。坏人占了不对称的便宜,于是满世界都是。他说至少可以把大家从「收件箱地狱」里救出来。
最后他把话留在这里:做软件的人都知道哪些事软件能做、哪些不能。如果这些限制不再成立,也许不是今天,是半年、一年后,还有什么不能自动化?将来要问的可能不是「能不能自动化」,而是「要花多少功夫」。
「自动化一切」:如果你不再被比特世界的限制束缚,还有什么不能自动化?
收尾他感谢了早期的信徒、「可靠性现实派」、推软件边界的人和做梦的人:「我们原以为自己是疯的那批人,结果发现,我们才是世界上意识到 AI 可以远不止于此的多数。」他说团队要让 Jev「像第四种逻辑门一样可靠,这个门槛很高,我们还有很多工作要做。」
致谢页:早期信徒、可靠性现实派、软件研究者、做梦的人、唱反调的人。直播截图。
五、他做的东西,下午谁在用
他自己在台上只把用量一句带过——「我们不需要炫这个」。幻灯片上写的是:30% 以上的财富 500 强在用 Jev;发布后第一个周末,每天 1 万亿 token;已经帮用户省下数百万美元。 旁边是开发者用 Jev 做的项目墙:下棋、表格语义高亮、代码审查闸门、浏览器 agent。
「大家都在 Jev」。直播截图。
他讲完,下午几场的数字替他说了话:
上午 Cloudflare 的 Michelle Chen 讲了另一面:9 月 15 日 Jev 发布,三天后 Cloudflare 开始做实验,周末 48 小时训完自己的 Clef。原因是 Jev 闭源,Cloudflare 没法放到自己的网络上跑。大会当天,Google 也发布了 Gemini Decisions API。他开的这条路,已经有人跟,也有人抢。
演讲前一个月,他在 X 上说过一层更直接的意思:把整套程序逻辑写进系统提示词、交给第三方,等于把自己的产品教给模型公司;逻辑留在代码里,只在需要判断的地方问 AI,逻辑就一直是你自己的。 演讲前一周他又说,客户用 Jev 最常见的错,是拿它直接做大决策,而不是让代码做它擅长的事,只把需要判断的那一小块交给 Jev。
对读者的意思
过去两年,行业默认的路线是:模型越大越聪明,agent 就越能干。Diogo 给的是另一条路:自动化缺的不是聪明,是可靠;可靠不是靠更大的模型,是靠换一个训练任务。 他亲手做了让 AI 擅长当助手的 RLHF,现在在做让 AI 能在后台每次都判断对的东西。
对做产品的人,他的说法落到一句:别把整个流程交给大模型,让代码管流程,在需要判断的地方,接一个又快、又便宜、每次都对的判断。
- 直播回放(从 5:06:48 开始):https://www.youtube.com/watch?v=ZZ19zhYnDKY&t=18408s
- Jev 发布帖:https://x.com/CompleteSkeptic/status/2099925682726002904
- 逻辑留在代码里:https://x.com/CompleteSkeptic/status/2110248520343261385
- 别拿 Jev 做大决策:https://x.com/CompleteSkeptic/status/2118509326981791781
- 融资与创始团队:https://www.vktr.com/ai-platforms/chatgpt-cocreator-launches-typesafe-ai-with-jev/