社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

徐宗本院士:他列出机器学习的五个假设,然后用四十年逐条去拆

图灵人工智能 • 23 小时前 • 28 次点击  

单击上方图灵人工智能”,选择“星标”公众号

您想知道的人工智能干货,第一时间送达

图片
转自i少数派,仅用于学术分享,如有侵权留言删除

批评一个系统有两种方式。一种是指出它做错了什么——幻觉、不可解释、不会推理、数据耗尽。这类批评产出的是困扰。另一种是指出它假设了什么。而这类批评的特殊之处在于:现象只能被观察,前提可以被推翻。

有一个人,给机器学习列出了五条前提:

假设空间的大容量假设;训练数据的完备性假设;损失度量的独立性假设;正则项的先验决定假设;分析框架的欧氏假设。然后他用四十年,逐条去拆。他叫徐宗本。中国科学院院士,数学家,信号与信息处理专家,西安交通大学教授。曾任西安交通大学副校长,现任琶洲实验室(黄埔)主任、西安数学与数学技术研究院院长、大数据算法与分析技术国家工程实验室主任。他在 2010 年世界数学家大会上作过 45 分钟特邀报告;获华罗庚数学奖、苏步青应用数学奖、陈嘉庚科学奖,以及 2024 年度吴文俊人工智能科技成就奖。

这篇文章要讲的,是一个数学家如何给 AI 做地基勘探——以及他如何用严格的数学,给"涌现"这个最玄的词上了一把锁。

一、五个假设:他给机器学习做的地基勘探报告

先把那五条摊开,因为它们是理解他全部工作的索引。按他的梳理,机器学习的执行通常依赖一组基本先验假设:

假设

它在说什么

如果不成立会怎样

假设空间的大容量假设

模型的表达能力足够覆盖真解

模型再怎么训练也学不到

训练数据的完备性假设

数据充分覆盖了问题空间

在没见过的地方就会崩

损失度量的独立性假设

损失函数与任务解耦、独立可设

优化的目标不等于真正想要的

正则项的先验决定假设

正则项可以事先人为指定

先验设错,解就偏

分析框架的欧氏假设

分析建立在欧氏空间上

非欧结构下的结论无法推演

这是本文第一个判断,也是理解他学术生涯形状的钥匙:别人批评 AI,给的是现象;他给的是前提。而前提和现象的区别在于——现象只能被观察,前提可以被逐条证伪和推翻。


最高级的研究纲领,往往不是找到一个答案,而是列出一张"这个领域都默默假设了什么"的清单,然后证明这张清单是可以被一条一条划掉的。

而他真正少见的地方在于:这张清单上的条目,他自己动手划掉了好几条。

二、他用一生在拆自己列的清单

这一节把他的几项主要成就,对应回那张清单。
拆第五条(欧氏假设):徐-罗奇定理。他发现并证明了机器学习的"徐-罗奇"(Xu-Roach)定理——被描述为发现了非欧氏框架下的"类二项式公式"这一数据建模新工具。它的意义是:为非欧氏框架下的机器学习与非线性分析提供了普遍的数量推演准则,并奠定了机器学习正则化方法的分析基础。同时解决了神经网络与模拟演化计算中的一些困难问题。

简单说:在此之前,很多分析工具一旦离开欧氏空间就失效;这个定理给了一把在非欧氏空间里也能用的尺子。

拆第四条(正则项先验决定假设):L(1/2) 正则化理论。
正则项是机器学习里那个"你得事先告诉模型要偏向什么样的解"的东西——最常见的是 L1、L2。而他提出了稀疏信息处理的 L(1/2) 正则化理论。这项工作不只是数学上的:它为稀疏微波成像提供了重要基础。

拆第一条(大容量假设)与深度学习的"设计难、解释难":模型驱动的深度学习。
这是他影响最大的一项工作,值得单独一节来讲。而在这张清单之外,他还指向了一个更根本的东西——机器学习本身的"人工"性质:按他的梳理,当前的机器学习应用在本质上仍然是"人工"的:人工标注和选择数据、人工构建网络和选择算法、人工切换任务和适应环境。

由此他提出机器学习必须从自动化走向自主化,并给出了 SLeM(Simulate Learning Methodology,模拟学习方法论)这一概念——即"学习人的学习方法论",配套的是双层优化模型与"超参数化"求解方法。

这是一个极少见的研究生涯形状:先列出一张"这个领域都假设了什么"的清单,然后用四十年逐条去拆;拆到最后发现,最大的那条假设不在清单里——是"学习这件事本身还得靠人来安排"。

三、模型驱动的深度学习:从"调出来"到"算出来"

2018 年,他与孙剑在《国家科学评论》(NSR)的机器学习专题上发表了这项工作。他们的出发点,是一个今天仍然成立的诊断:

"网络拓扑结构的选择依然依靠于工程实践而非依靠科学研究,这直接导致了现在的大多数深度学习多半是缺乏理论基础的启发式方法。网络结构的设计、网络的解释以及对其泛化能力理解的缺失,是深度学习方法普遍存在的限制。"

而紧接着那句话,我认为是全文最该被记住的一句警告:

"这些缺陷虽然阻止不了深度学习广泛应用的趋势,但在'标准化、产品化'的 AI 技术驱动下,会变得更加隐蔽,也更加具有危害性。"

这是本文第二个判断:一个技术缺陷最危险的时刻,不是它暴露的时候,是它被封装进标准产品的时候。因为封装让它从"已知的风险"变成了"看不见的默认"。这句话说于 2018 年。而今天,绝大多数人使用大模型的方式是调一个 API——缺陷被封装得比当年彻底得多。

他们给出的方法,是三步:

第一步,构建模型族(Family of Models)。
基于任务背景——目标、机理、先验知识——构建一个含大量未知参数的函数族。关键在于:这个模型族"仅仅粗略和大致地定义了解空间"。他们的原话是,这样做的目的是"大大减轻精确建模的压力下吸收模型驱动方法的优点"。

第二步,设计算法族(Family of Algorithms),并建立收敛性理论。
收敛性理论至少应包含收敛速率估计,以及保证算法族收敛的约束条件。

第三步,把算法族"展开"(unfold)成一个深度网络。
而这一步是全部精妙之处所在:

"由算法族的收敛速度估计确定深度网络的深度,由算法族的参数限制条件确定深度网络的参数学习空间,算法族中的所有参数在深度网络的每一层设置为自由变量。这样,深度网络的拓扑结构完全由算法簇唯一确定。"

这是本文第三个判断:今天调网络结构靠的是"试"——试几层、试多宽、试什么激活函数。而他的方法把这件事变成了"算"——网络该有多深,由算法的收敛速度算出来;参数该在什么范围,由算法的约束条件定出来。


从"调出来"到"算出来",这个区别不只是效率问题。调出来的东西只能被复现,算出来的东西可以被推广。

具体成果是 ADMM-Net:把求解压缩传感核磁共振成像(CS-MRI)的 ADMM 算法展开成网络,每个阶段包含重建层、卷积层、线性变换层和乘子更新层。据其论文,这在 CS-MRI 图像重建中取得了当时已知最好的结果。

四、最深的一句:模型是数据的基因型

在那篇论文的结尾,有一段我认为是他全部思想里最深的判断,而它几乎总被读者跳过:

"我们指出模型驱动的方法和数据驱动的方法二者之间并非相对的关系。因为如果模型是精确的,它将提供关于问题本质的描述,从这些本质中我们可以生成无限的理想数据样本;反之亦然:当我们拥有充足的样本数据时,问题的模型也便以'表型'形式充分地(但是离散地)展现了。这是模型驱动深度学习方法有效性的本质原由。"

注意他用的那个词:表型(phenotype)。

这是本文第四个判断:模型是数据的基因型,数据是模型的表型。它们不是两条对立的路线,是同一个对象的两种表示——一种是连续的、压缩的;一种是离散的、展开的。

这个判断一旦被接受,"模型驱动 vs 数据驱动"这场争了十年的辩论就溶解了。

而它的实际用处极其直接:当你的数据不够时,去找模型——因为模型能生成数据。当你建不出准确的模型时,去堆数据——因为足够的数据会把模型以离散的形式展现出来。

它们可以互相替代。而这也正是"模型驱动的深度学习"为什么可行的根本原因:它不是折中,是利用了两者的可互换性。

五、给"涌现"上一把数学的锁

2024 年,他做了一件在这个系列里前所未有的事:用严格数学给"智能涌现"下定义。他自己对这件事的必要性说得很清楚:

"按照流行的认识,大模型的能力之所以强大源自它可能存在的智能涌现。然而,什么是智能涌现?是什么要素催生了智能涌现?大模型在什么情况下才会出现智能涌现?对这些问题充满着疑惑和争论。"

他的框架是这样搭的。
第一步,用一个三元函数 ℰ(N, P, ∂ℓ) 度量大模型的泛化性:

  • N
    = 训练数据规模
  • P
    = 模型尺寸(含参数个数)
  • ∂ℓ
    = 训练损失达到极小的程度

第二步,用这个函数的极限行为(N→∞, P→∞, ∂ℓ→0)来度量尺度变化律(Scaling Law)。

第三步,也是最关键的一步:他定义了"极限架构"这一无穷维系统概念,并指出——大模型智能涌现的新特征、新行为,就是该极限架构的特征和行为。

这一步的哲学含量很高:涌现不是某个神秘的东西在某个时刻冒出来,而是一个无穷维系统的极限行为。而极限行为是数学上可以被刻画的。

第四步,他给出了一个标准误差分解——把 ℰ(N,P,∂ℓ) 与 ℰ(∞,∞,0) 的差,分解成三项:

误差项

它来自哪里

权值误差

训练没练到底(∂ℓ 没到 0)

架构误差

模型不够大(P 没到 ∞)

样本误差

数据不够多(N 没到 ∞)

然后分别用随机逼近、非线性 Lipschitz 算子、无限维 Bayes 估计这三套工具去估计它们。而最终的三条结论,我认为对做预训练的人有直接价值:

  1. 大模型泛化性能与模型规模的尺度率,在亚指数率与指数律之间;
  2. 大模型泛化性能与训练数据规模的尺度率为亚指数率;
  3. 当大模型的权值最优设定,而且其基块满足 Lip(T)<1 或 m(A)>0 时,模型规模、训练数据规模趋于无穷将导致大模型出现智能涌现。

这是本文第五个判断:第三条给出的是涌现的一个充分条件——而且是一个写在模型基块性质上的、原则上可检验的条件(基块的 Lipschitz 数小于 1,或 Dahlquist 数大于 0)。


当一个词可以被写成一个定理的条件时,它就不再神秘了。而这恰恰是数学对一个领域最大的贡献:不是解决问题,是把问题从"玄学"区间搬进"可证明"区间。

另外,前两条结论里藏着一个容易被忽略的信息:模型规模与数据规模的尺度率是不同的。这意味着加参数和加数据的回报不对称——而这对任何在做预训练资源分配的人,都是可操作的。他还提到,对于线性大模型情形,团队用大维随机矩阵理论导出了模型尺寸与训练数据规模的最优配置律。

六、他的七条基本假设

假设一:机器学习的局限,源于五条可以被明确写出来的先验假设。
这一条决定了他的全部方法论:不批评现象,批评前提。

假设二:模型与数据是同一对象的两种表示,可以互相转化。

假设三:网络结构应当是可推导的,而不是可调参的。

假设四:涌现不是神秘现象,而是无穷维极限架构的行为,且有充分条件。

假设五:加参数与加数据的回报率不对称。

假设六:机器学习必须从自动化走向自主化。
这是 SLeM 的出发点——因为目前的机器学习仍是"人工"的:人工标注数据、人工构建网络、人工切换任务。

假设七:数学是 AI 基础创新的源头。
他 2026 年的表述是:数学是创新的源头活水和关键生产力。同时他把 AI 人才划分为基础层、技术层、应用层,而数学专业的目标是培养拥有 AI 基础研究、技术源头性创新研究能力的人才。

七、学脉与产业影响:从一个定理到一台核磁共振

先看学脉,它有一个值得注意的形状。
徐宗本,1955 年 1 月生,陕西柞水人。1976 年毕业于西北大学数学系;1987 年获西安交通大学理学博士学位;1987 至 1989 年在英国 Strathclyde 大学做博士后研究;1990 年破格晋升为教授;2011 年当选中国科学院院士。他长期从事的方向是:Banach 空间几何理论与智能信息处理的数学基础。

注意这个组合——Banach 空间几何是纯粹数学里相当抽象的一支,而"智能信息处理"是极其应用的。他的整个学术生涯,就是在这两者之间架桥。

而徐-罗奇定理恰好是这座桥的桥墩:它把非欧氏空间里的分析工具,交给了机器学习。

再看产业影响,这一层比大多数数学家都实。

第一层,国家重大需求:L(1/2) 正则化理论为稀疏微波成像提供了重要基础。他还担任过国家重点基础研究计划(973)"基于视认知的非结构化信息处理基础理论与关键技术"的首席科学家。

第二层,医学影像——这一层最具体:
模型驱动的深度学习(ADMM-Net)用于压缩传感核磁共振成像,据其论文取得当时已知最好结果。此外他还提出了分布式微剂量 CT、超快核磁共振成像(MRI)等创新数学理论,为新一代智能型医学影像设备研发提供了基础原理与技术。

这条链条值得完整看一遍:一个关于"正则项该怎么设"的数学问题 → 一套 L(1/2) 正则化理论 → 一种把算法展开成网络的方法 → 一台能用更少采样、更低剂量完成成像的设备 → 一个病人少躺二十分钟、少吃一份辐射。

从抽象到具体,中间隔了五层。而每一层的跨越,都不是自动发生的。

第三层,建制与战略:
他是国家大数据专家咨询委员会委员、国家新一代人工智能战略咨询委员会委员;现任琶洲实验室(黄埔)主任、西安数学与数学技术研究院院长、大数据算法与分析技术国家工程实验室主任、陕西国家应用数学中心主任;并任中国工业与应用数学学会大数据与人工智能专业委员会主任。"西安数学与数学技术研究院"这个名字值得注意——"数学技术"这个提法本身,就是一个主张:数学不只是基础学科,它可以直接成为技术。

八、在中国 AI 思想谱系中的位置

这个系列写到现在,关于"智能该被设计还是会涌现"的争论,已经有好几种立场。而他占据的位置,是那场争论的接头。

先看那场争论的两端:

  • 设计论
    一侧主张智能需要被设计——价值、认知架构、为机器立心;
  • 连接主义
    一侧主张不必设计——规模足够大,能力自然涌现;
  • 此外,优化与搜索这一脉关心的是"在约束下如何求最优",数学工具派关心的是"深度网络能逼近什么"。

而徐宗本院士做的事,是让"设计"和"学习"在同一个数学对象上共存:

这是本文的定位结论:模型族提供设计(目标、机理、先验知识),算法族提供结构(深度由收敛速率定、参数空间由约束条件定),而参数由数据学出来。


也就是说——"该设计还是该涌现"这场争论,在他这里有第三个答案:设计结构,学习参数。而这个答案不是折中,是有数学构造的。

第二个定位维度更有意思:在"涌现"这个问题上,他的洞见与所有人都不同。

立场

对"涌现"的态度

涌现论一侧

涌现是大模型最令人着迷的地方

朱松纯

大模型是统计模式匹配工具,不构成理解

梅宏

不认为现在的 AI 有意识或知识涌现能力

徐宗本

不争论有没有,而是给出涌现的充分条件

前面几位在争论"有没有涌现",他在问"涌现在什么条件下发生"。这是第三种思想形状——不站队,给判据。

而这个洞见,把他和这个系列里另外两位放进了同一个阵营:

  • 李明
    给"理解"一个判据——压缩率;
  • 谭铁牛
    给"进度"一把尺子——知、智、谋、情;
  • 徐宗本
    给"涌现"一个条件——极限架构与基块性质。

这三位可以被称为"判据派"。他们的共同特征是:不参与立场之争,而是去做那件更难也更持久的事——造一把所有人都能用的尺子。而尺子是不站队的,这也正是它比立场更持久的原因。

九、五条应该被说出来的边界

第一,模型驱动的深度学习有明确的适用边界,而他自己讲得很清楚。
他的原话是:"目前大多数成功的应用都集中在图像科学领域中,这类问题具有可以在模型族中被良好建模的领域知识。"

而今天的大语言模型,恰恰是领域知识最难被写成"模型族"的那一类——你很难写出一个关于"什么是好的语言"的目标函数和机理模型。这不是方法的缺陷,是方法的定义域。

第二,涌现判定的前提之一,是"权值最优设定"。
这个框架极其漂亮,但它的结论三依赖"大模型的权值最优设定"这个条件——而实际训练从来不在最优点,只能接近。
从"最优设定下会涌现"到"实际训练中会涌现",中间有一段需要被填的距离。

第三,理论尺度率与经验 Scaling Law 的对应关系,尚需更多工作。
"亚指数率与指数律之间"是在特定数学假设下导出的结论,而业界观测到的 Scaling Law 是经验拟合曲线。两者的对应,不是自动成立的。

第四,SLeM 是一个方向性纲领,计算代价是真实障碍。
"学习人的学习方法论"是一个很高的目标,而它的技术载体——双层优化——在计算上极其昂贵。从纲领到可规模化的方法,这条路仍然很长。

第五,也是最根本、最该被客观指出的一条:这套工作是在给 AI 补数学基础,而过去几年 AI 的实际进展,大部分不是由数学基础推动的。
这构成一个真实的张力。他 2018 年那句警告——缺陷会在标准化、产品化中变得更隐蔽、更有危害性——正在被验证;但验证的方式是"大家继续用而不管",而不是"大家回头补基础"。

这不是他论证的漏洞,而是这个论证在现实中必须面对的处境:一个关于地基的警告,通常只有在楼出问题之后才会被认真对待。而在那之前,做地基的人必须接受自己的工作不被看见。

尾声

回到那五条假设。一个人列出一张清单,说"这个领域默默假设了这五件事"——这本身不算什么,做学术综述的人每天都在做类似的事。特殊的是接下来那件事:他把清单上的条目,一条条拿来当自己的研究题目。欧氏假设,他用一个定理拆了。正则项的先验决定假设,他用一套理论拆了。深度网络的"设计难、解释难",他用"把算法展开成网络"拆了。而"学习这件事还得靠人安排",他正在用 SLeM 拆。

甚至连"涌现"这个最不像数学问题的东西,他也给它写出了一个条件。如果要把这篇文章收束成一句话——

他做的不是给 AI 提意见,是给 AI 做地基勘探。而地基勘探这件事的特点是:在楼还站着的时候,没人会感谢勘探的人;只有当楼开始歪的时候,大家才会回头找那份报告。

而他那句关于数学的话,可以留在最后:

数学是创新的源头活水和关键生产力。

这句话听起来像一句标语。但如果你顺着那条链条看一遍——从 Banach 空间几何,到一个非欧氏空间的定理,到一套正则化理论,到一个把算法展开成网络的方法,最后到一台能让病人少躺二十分钟的核磁共振——你会发现它不是标语。它只是在描述一件已经发生过的事。

附录:关键史实与信源


一、可核实的履历事实

  • 徐宗本,1955 年 1 月生于陕西省柞水县。1976 年毕业于西北大学数学系;1987 年获西安交通大学理学博士学位;1987—1989 年在英国 Strathclyde 大学做博士后研究;1990 年破格晋升为教授;2011 年当选中国科学院院士。
  • 长期从事 Banach 空间几何理论与智能信息处理的数学基础方面的教学与研究工作;主要研究方向为智能信息处理、机器学习、数据建模基础理论。
  • 曾任西安交通大学副校长;曾任国家重点基础研究计划(973)"基于视认知的非结构化信息处理基础理论与关键技术"首席科学家。
  • 现任琶洲实验室(黄埔)主任、西安数学与数学技术研究院院长、大数据算法与分析技术国家工程实验室主任、陕西国家应用数学中心主任;中国工业与应用数学学会顾问委员、大数据与人工智能专业委员会主任;国家大数据专家咨询委员会委员、国家新一代人工智能(开放创新平台及)战略咨询委员会委员。
  • 荣誉:国家自然科学二等奖、国家科技进步二等奖、陕西省最高科技奖;国际 IAITQM 理查德·普莱斯(Richard Price)数据科学奖;陈嘉庚科学奖(信息技术科学奖)、华罗庚数学奖、苏步青应用数学奖;2024 年度吴文俊人工智能科技成就奖。2010 年世界数学家大会 45 分钟特邀报告。

二、主要学术贡献(据公开资料)

  • "徐-罗奇"(Xu-Roach)定理
    发现并证明,被描述为发现了非欧氏框架下的"类二项式公式"数据建模新工具;奠定了机器学习正则化方法的分析基础;为非欧氏框架下机器学习与非线性分析提供了普遍的数量推演准则;解决了神经网络与模拟演化计算中的一些困难问题。
  • L(1/2) 正则化理论
    稀疏信息处理方向,为稀疏微波成像提供了重要基础;解决了稀疏信号处理、神经网络系统、模拟进化计算中的一些重要基础问题。
  • 模型驱动的深度学习
    在突破机器学习"大容量假设"和深度学习"设计难、解释难"上取得重要进展,开拓了最优化、反问题求解和医学成像研究新方向。
  • 基于视觉认知的数据建模新原理与新方法,形成聚类分析、判别分析、隐变量分析等系列数据挖掘核心算法。
  • 分布式微剂量 CT、超快核磁共振成像(MRI)等创新数学理论,为新一代智能型医学影像设备研发提供基础原理与技术。
  • 被描述为"将数据建模从'辅助作图'层次提升到'认知模拟'层次"。

三、机器学习五个先验假设(据其公开报告整理)

机器学习的执行通常依赖一组基本先验假设,包括:假设空间的大容量假设、训练数据的完备性假设、损失度量的独立性假设、正则项的先验决定假设、分析框架的欧氏假设。

并提出:当前机器学习应用在本质上仍是"人工"的——人工标注和选择数据、人工构建网络和选择算法、人工切换任务和适应环境;机器学习须从自动化走向自主化,提出 SLeM(Simulate Learning Methodology,模拟学习方法论/"学习人的学习方法论")概念,并给出双层优化模型与"超参数化"求解方法。相关报告题为《机器学习:从先验假设到学习自动化》。

四、《模型驱动的深度学习》核心内容(徐宗本、孙剑,National Science Review 5: 22–24, 2018)

  • 诊断:"网络拓扑结构的选择依然依靠于工程实践而非依靠科学研究,这直接导致了现在的大多数深度学习多半是缺乏理论基础的启发式方法。"
  • "这些缺陷虽然阻止不了深度学习广泛应用的趋势,但在'标准化、产品化'的 AI 技术驱动下,会变得更加隐蔽,也更加具有危害性。"
  • 三步法
    ① 基于任务背景(目标、机理、先验知识)构建模型族,"仅仅粗略和大致地定义了解空间";
    ② 设计算法族并建立收敛性理论(含收敛速率估计与收敛约束条件);
    ③ 将算法族展开(unfold)成深度网络——"由算法族的收敛速度估计确定深度网络的深度,由算法族的参数限制条件确定深度网络的参数学习空间……深度网络的拓扑结构完全由算法簇唯一确定。"
  • 应用案例 ADMM-Net
    用于压缩传感核磁共振成像(CS-MRI),由 T 个阶段构成,每阶段含重建层、卷积层、线性变换层、乘子更新层;据该文,在 CS-MRI 图像重建中取得了当时已知最好的结果。
  • 关键判断
    "模型驱动的方法和数据驱动的方法二者之间并非相对的关系。因为如果模型是精确的,它将提供关于问题本质的描述,从这些本质中我们可以生成无限的理想数据样本;反之亦然:当我们拥有充足的样本数据时,问题的模型也便以'表型'形式充分地(但是离散地)展现了。"
  • 适用边界(其本人指出)
    "目前大多数成功的应用都集中在图像科学领域中,这类问题具有可以在模型族中被良好建模的领域知识。"

五、《关于大模型的智能涌现判定》核心内容(据第二届系统科学前沿论坛报告摘要)

  • 问题:"什么是智能涌现?是什么要素催生了智能涌现?大模型在什么情况下才会出现智能涌现?对这些问题充满着疑惑和争论。"
  • 框架:用三元随机函数 ℰ(N, P, ∂ℓ) 度量大模型泛化性(N 为训练数据规模,P 为模型尺寸,∂ℓ 为训练损失达到极小的程度);用其极限行为/极限速度(N→∞, P→∞, ∂ℓ→0)度量尺度变化律(Scaling Law)。
  • 定义"极限架构"这一无穷维系统概念,说明大模型智能涌现的新特征/新行为即是该极限架构的特征和行为
    (泛化能力由 ℰ(∞,∞,0) 度量)。
  • 标准误差分解
    分解为权值误差ℰ(N,P,∂ℓ)−ℰ(N,P,0)、架构误差ℰ(N,P,0)−ℰ(N,∞,0)、样本误差ℰ(N,∞,0)−ℰ(∞,∞,0);分别应用随机逼近、非线性 Lipschitz 算子、无限维 Bayes 估计工具估计。
  • 三条结论
    ① 大模型泛化性能与模型规模的尺度率在亚指数率与指数律之间;② 与训练数据规模的尺度率为亚指数率;③ 当大模型的权值最优设定,而且其基块满足 Lip(T)<1 或 m(A)>0 时,模型规模、训练数据规模趋于无穷将导致大模型出现智能涌现。
  • 对线性大模型情形,应用大维随机矩阵理论刻画极限行为,导出了模型尺寸与训练数据规模的最优配置律。

六、其他公开表述

  • 2026 年 6 月:数学是创新的源头活水和关键生产力;提出 AI 人才可划分为基础层、技术层和应用层,数学专业的目标是培养拥有 AI 基础研究、技术源头性创新研究能力的人才。
  • 2024 年 12 月,在 2024 中国人工智能大会期间接受央视网《观澜》专访,就人工智能基础理论、大模型的涌现、凝练基础研究科学问题、战略科学家的使命等作阐述。

七、笔者的分析建构(非其本人表述)

以下为笔者依据公开材料所做的分析与推断,未经其本人确认,读者可以不同意:

  • "别人批评现象,他批评前提;现象只能被观察,前提可以被推翻"这一提炼,及"最高级的研究纲领是列出一张可被逐条划掉的清单";
  • 第二节把其各项成就逐一对应回五条假设的编排——该对应关系为笔者所作的结构化整理,非其本人的自述框架;其中"完备性假设"与"独立性假设"两条,本文未找到可明确对应的代表性成果,故未作牵强对应;
  • "从调出来到算出来"这一判据化表述;
  • "模型是数据的基因型,数据是模型的表型"——"表型"一词出自其原文,"基因型"这一对应与整个类比的推广为笔者所加
  • "一个缺陷最危险的时刻,是它被封装进标准产品的时候",及向今天调用大模型 API 这一情境的延伸;
  • "当一个词可以被写成一个定理的条件时,它就不再神秘了"
  • 第七节关于"Banach 空间几何与智能信息处理之间架桥"的学脉分析,及"从抽象到具体隔了五层"的链条梳理;
  • 第八节的全部定位
    ,包括"设计结构,学习参数"是设计论与涌现论之争的第三个答案、以及将其与李明、谭铁牛并置"判据派"——该定位与分组为笔者的分析编排,表中其他学者的立场为笔者的浓缩表述,非其本人原话,且相关学者之间不存在公开论辩
  • 第九节所列五条边界,其中第五条关于"补基础的工作不被看见"的分析,为笔者对现状的观察,非对任何人的评价。

本文为公开信息基础上的思想评述,所引职务、荣誉与学术成果均为公开信息的客观陈述;文中数学表述为对公开报告摘要的转述,精确表述请以其原始论文与报告为准。本文不构成对任何机构、产品或技术路线的推荐。


图片

文章精选:

1.图灵奖得主姚期智最新演讲: AI有边界,恰恰是好事

2.图灵奖得主本吉奥警告全网:AI已经学会“演给安全测试看”,下一代我们可能真的抓不住了!
3.图灵奖得主萨顿 WAIC 2026 最新演讲:现在的 AI 还不算真智能,我们正迈入经验时代
4.菲尔兹奖得主陶哲轩最新访谈:未来数学属于人类与 AI 的混合体
5.图灵奖得主、AI教父辛顿:AI已具备意识,且将进化成远超人类的智能生命体
6.图灵奖得主、“AI教父”辛顿认错:我当年想得太简单!卡死医疗AI落地的,其实是背后的法律
7.图灵奖得主Bengio预言o1无法抵达AGI!Nature权威解读AI智能惊人进化,终极边界就在眼前
8.图灵奖得主、强化学习之父Rich Sutton:大语言模型是一个错误的起点
9.图灵奖得主杨立昆:大语言模型缺乏对物理世界的理解和推理能力,无法实现人类水平智能
10.压缩即是全部 —— 菲尔兹奖得主 Michael Freedman 给数学和 AI 的一封信

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/201016