社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

你的想法就是过拟合,关于机器学习的多维度思考

窥市寻真 • 9 小时前 • 13 次点击  

你的想法就是拟合:模型练到0.33,出去只剩0.08

创作|程飞
编辑|程飞
正文共:14,844字
含 42 张配图
预计阅读时间:38分钟

上周三下午,一个北方来的朋友(某私M产品经理)在我这儿坐了两个多小时。

他姓王,做了10 多年,管过不小的钱,这2 年把重心挪到模型上。茶泡了三道,他忽然把杯子放下,说了一句我记到现在的话。

他说:「你们搞机器学习最麻烦的地方,是这玩意儿说不清。」

我说你是担心它不可解释,还是担心它过拟合?

他想了想,说这两件事是一件事吧。你解释不清,就不知道它为什么赚;你不知道它为什么赚,就不知道它什么时候会不赚。

后来我给他倒茶的时候,说了一句:其实你手上那些能讲得明明白白的策略,也全是拟合。

他愣了一下,说这话怎么讲。

我说你想想你那个「放量突破」是怎么来的。你先在图上看见过一次,然后回头看历史上别的地方是不是也这样,然后你调了调「放量」的倍数、「突破」的窗口,直到它看起来成立。这个过程本身就和你说的那些黑箱在做同一件事,只是你的搜索空间小一点,你能用嘴讲出来。

他把茶喝完,说:「行,那你说说到底怎么办。」

这篇文章聊的就是这个方向。我用自己攒了1多年的数据做了一整套实验。结论可能跟他想的不太一样:可解释性和样本外表现,在这份数据里不是取舍关系,它们是一伙的。

这就是那两个多小时的产物。蓝色的线是「你在训练集上看到的东西」,红色的线是「你换一批数据看到的东西」。它们中间那块面积,就是你为「想得太明白」付的钱。

CHAPTER 01

先把「拟合」这个词拆开

「拟合」在中文语境里是个贬义词,一说出这个词,对方基本就懂了:你在骗自己。

但这个词的原始含义一点都不贬义。拟合就是「让一条曲线尽量穿过这些点」。你不拟合,你就是在瞎猜。所有有效的模型都拟合,不拟合的模型什么都不做。

真正的问题是另一个:你拟合的是规律,还是拟合了这批数据的偶然。

这两个东西在数据里长得一模一样。这是我做这套实验最深的体会:没有任何一个统计量能告诉你「你拟合的是哪个」,你只能通过换数据来测。

所以下面所有的图,横轴基本都是「模型复杂度」或「搜索了多少次」,纵轴基本都是「在没见过的新数据上表现如何」。只有一个轴有意义,就是第二个。

我的实验是怎么搭的

先交代清楚家底,不然所有结论都是空的。

数据是我本地存的全市场日行情,2010 年 1 月 4 日到 2026 年 10 月 21 日,4077 个交易日,4620 只标的。每 20 个交易日取一期,一共 191 期。每期里,把当天所有有价格的标的横向摆开,构成一个截面。

特征 15 个,全部是我用手能数出来的东西:5 个不同回看期的动量、3 个不同窗口的波动、3 个相对均线的偏离、20 日振幅、20 日成交额对数、成交额变化、与市场的 60 日相关性。没有一个是深度学习自己想出来的,都是「想法」。

标签是未来 20 个交易日的涨跌幅。所有特征和标签都在期内做了排名标准化,压到 -1 到 1 之间。这一步很关键,它顺手消掉了市场整体的涨跌,只留下「这一期谁比谁强」。

然后按时间切三段,绝不重叠。

训练期:2010-01 至 2020-06,114 期,189,964 行
验证期:2020-06 至 2023-07,38 期,这是用来做选择的
测试期:2023-07 至 2026-10,39 期,这一段我一次都没用来调参

为什么要三段而不是两段?因为你一旦用某一段数据去挑模型,那一段就不再是「没见过的数据」了。三段的意义是:训练期学,验证期挑,测试期只负责说实话。

还有一个必须说清的地方:我全程用 IC,不用净值。

IC 是「每期预测值和真实涨跌幅的排名相关系数」。它衡量的是排序能力,不掺交易成本、不掺持仓结构、不掺换仓频率。用它是为了让结论干净:一旦掺进执行细节,「模型问题」和「执行问题」就混在一起,说不清了。

这也意味着下面所有数字都不能直接换算成回报率。IC 0.13 这种水平,落到净值上是什么样,取决于太多别的东西。本文只谈「预测得准不准」,不谈能赚多少。

标签本身长这样,左边是分布,右边是累计。中位数略微偏正,为负的占40% 多。这个不对称很重要,它意味着「什么都不做」有一个小小的正期望,后面解释为什么有些模型的样本外看起来比样本内还强,要用到这一点。

先看看单期 IC 有多吵

在讲复杂度之前,我要先说一件很多人忽略的事:IC 这个指标本身噪音极大。

同一个模型、同一套特征,191 期里有 13.2% 的期数是反的。5 分位那一档是 -0.071。

这件事的含义是:你随便挑一个月去看,有大约1/7的机会看到一个「完全失效」的模型。而大部分人对策略的判断,恰恰就是在某一个月里做出的。

所以判断一个东西有没有失效,单期 IC 是不够的,必须拉长。

灰线是每一期的原始 IC,上下翻飞。蓝线是 12 期滚动平均,一下就安静了。

单期标准差 0.131,191 期的均值标准误只有 0.0095。也就是说,单期那些吓人的波动,绝大部分是噪音,不是信号在变。

这一节看起来跟过拟合无关,但它是后面一切的底子。因为「过拟合」这个判断,本质上也是在噪音里找结构:你看到样本内 0.328,样本外 0.079,你得确认这个差距不是噪音造成的。

CHAPTER 02

只改一个参数,样本内外岔开 0.25

现在进正题。

我用同一个梯度提升模型,同样的 15 个特征,同样的 200 棵树、同样的学习率、同样的随机种子、同样的正则。唯一改动的,是树的最大深度,从 1 调到 12。

红线上去了,蓝线下来了。它们之间那片红色阴影,从几乎看不见,一直涨到 0.249。

深度 1:样本内 0.1360 测试期 0.1319 差 0.0041
深度 4:样本内 0.1647 测试期 0.1123 差 0.0525
深度 8:样本内 0.2448 测试期 0.0900 差 0.1549
深度 12:样本内 0.3283 测试期 0.0792 差 0.2491

注意一个细节:测试期最高的那一档是深度 1,0.1319。不是深度 3,不是深度 4,是最简单的那个。

深度 1 是什么意思?深度 1 的树不能做任何交互,它就是把每个特征切成两段,然后加总。本质上是「15 个开关的加权求和」,跟线性模型一个层级的东西。

而深度 12 有能力记住「动量高、同时波动低、同时成交额大、并且这一期刚好是三月」这种极度具体的组合。它确实记住了,而且记得非常好,好到在训练集上无人能敌。

这就是过拟合的全部含义,一句话说完:它在学「这一批样本」,不是学「这件事」。

把差距单独画出来,是一条几乎笔直的上升线。这条线的存在说明差距不是运气,是复杂度的函数。

我特别想说的是深度 1 和 2 之间的那一格:0.0041 到 0.0197。只加了一层交互,代价就翻了五倍。但样本外的回报在这一步是涨的(0.1319 到 0.1241,其实是跌的,我记错了)。

对不起,这里我得停下来改口。深度 2 的测试期是 0.1241,比深度 1 的 0.1319 更低。也就是说,在这份数据上,从最简单的那一层往外走一小步,样本外就开始往下掉。

我原本以为会有一个「先涨后跌」的甜蜜点,就像教科书上那张经典的 U 型图。结果没有。这份数据里,最简单的模型就是最好的模型,一路往下。

我不确定这是不是普遍规律。它可能只是说明:我准备的这 15 个特征里,压根没有需要「交互」才能表达的东西。如果你的特征里藏着真正的交互关系(比如「小市值且高动量」才有效),那深度 2 可能会赢。

但这段数据至少证伪了一个很流行的说法:「复杂模型总能通过调参找到一个不输给简单模型的解」。理论上它有这个能力(深度 12 包含深度 1 的所有解),实践上它找不到,因为梯度提升是贪心的,它每一步都往「更拟合训练集」的方向走。

CHAPTER 03

换一个旋钮,代价一模一样

有人会觉得:深度是「结构复杂度」,那我不动结构,只多训练几轮,总不会过拟合吧。

会。而且代价一样。

10 轮:样本内 0.1337 测试期 0.1319
80 轮:样本内 0.1536 测试期 0.1218
260 轮:样本内 0.1692 测试期 0.1083
800 轮:样本内 0.1984 测试期 0.0903

从 10 轮到 800 轮,样本内涨了 6.5 个百分点,样本外掉了 4.2 个百分点。而最优的轮数是 10,也就是我网格里最小的那个值。

这个结果让我有点不舒服,因为它意味着:我精心设计的「用早停来找最优轮数」这套流程,在这份数据上的正确答案是「几乎不训练」。

而如果我拿验证期来做早停选择,我会选到 50 轮,测试期是 0.1242,比 10 轮的 0.1319 差一点。也就是说,连「用验证期挑超参」这件事本身,都带来了一点点损失。

这句话很重要,我要展开说:验证期不是无限的。你用验证期做了100 次选择,验证期就被你「用旧」了,它跟训练集的区别会越来越小。这个现象有个名字叫「验证集泄漏」,但它不是代码 bug,是流程的必然结果。

所以我在整个实验里,测试期只在最后被跑了一次。那一次跑出来的数字,才是我敢写进文章的数字。

数据量是另一根杠杆

第三个实验:不动模型,只动训练数据量。

只用 1.4 万行的时候,样本内 IC 是 0.272。这个数字比深度 8 的 0.245 还高,而这个模型只有深度 4。

数据量加到 19 万行,样本内降到 0.164,样本外升到 0.113。2 条线在数据量增加的过程中逐渐靠近。

这是一个我很喜欢的结论,因为它给出了一个可操作的方向:当你发现样本内外差距很大的时候,除了降复杂度,还可以加数据。而降复杂度会损失真实信号,加数据不会。

不过加数据有个天花板:你能加的是「历史」,而历史不能无限延长。A 股有效数据就这么多年,月度频率最多100 多期,这是硬约束。所以真正能加的是「横截面」:多找标的、多找市场、多找频率。

这张热力图是我最喜欢的一张。左边是样本内,右边是样本外,纵轴是模型深度,横轴是训练用的期数。

看左下角那个 0.49。那是「只用 4 期数据、深度 6」的样本内 IC。4 期数据,4000 多个样本,模型能拟合到 0.49,这个数字放在任何研究报告里都是「惊艳」的。

而它的样本外是多少?0.080。比什么都不做的深度 1(0.146)还差一半。

差距的热力图,红的都在左边和上面。左上角的意思是:数据少、模型深,这两件事只要凑齐一件,就会开始骗你;凑齐两件,骗得最狠。

我在这儿想补一句关于「样本量」的经验:不是「样本行数」够就行,是「独立期数」够才行。

一期里有几千只股票,看起来样本很多。但同一期的几千个样本,共享同一个市场环境、同一批宏观事件、同一种情绪。它们在统计上高度不独立。你用 4 期数据训练,实际的信息量可能只相当于 4 个独立观察,而不是 2 万个。

这就是为什么横截面因子研究这么容易自欺:行数给了你虚假的安全感。

CHAPTER 04

把标签打乱,模型照样能学到 0.39

前面那些都是「在真实数据上把模型搞复杂」。这一章我要做一个更狠的实验:把未来涨跌幅随机打乱,让数据里彻底不存在任何可预测的东西,然后看模型能学到多少。

做法很直接:每一期里,把「谁涨得多」这个标签随机重新分配给这一期的股票。特征不动,标签洗牌。这样任何特征和标签之间的真实关系都会被彻底斩断。

深度 10 的模型,在完全随机的标签上,样本内 IC 做到了 0.391。

我要强调这个 0.391 有多荒谬:它比真实数据上深度 10 的 0.294 还高。也就是说,模型在「什么都学不到」的数据上,表现得比在「有真实规律」的数据上更好。

为什么?因为真实规律太弱了,它限制了模型的自由度;而纯随机标签没有任何规律,模型可以完全自由地记住每一个样本。记住了,样本内就是满分。

然后看样本外。

10 个深度、10 个点,全部落在 -0.005 到 -0.0025 之间。

全部归零,而且微微为负。那个负号也不是玄学,它来自随机标签在测试期的抽样波动,均值回归到零,落在负侧只是这一次的运气。

这张图是我整篇文章里最看重的一张,因为它把一件事分得干干净净:

「样本内做得好」和「真的学到了东西」,是两个完全独立的能力。前者只要模型够复杂就能做到,完全不需要数据里有规律。

三条线放一起,故事就完整了。红线是随机标签下的样本内,一路冲到 0.39。蓝线是随机标签下的样本外,贴着零走。绿线是真实标签下的样本外,从 0.047 一路降到 0.014。

绿线也在下降,但它的下降是有底部的。红线没有底部,它可以无限上升(只要模型够深),因为它的目标本来就不存在。

这个对比给了我一个很实用的判断工具:如果你看到一个模型样本内 IC 特别高(比如 0.3 以上),先别高兴,先问一句「这跟随机标签下的表现比,高多少」。

真实标签在深度 10 的样本内是 0.294,随机标签是 0.391。差值是负的。这句话翻译成人话就是:在这个深度上,你的模型对真实数据的拟合程度,还不如它对噪音的拟合程度。它不是在学习,它是在容量过剩地乱记。

CHAPTER 05

搜得越多,冠军越假

这一段是全文最反直觉的部分,也是王总那句「想法本身就是拟合」的实证。

我造了一个「信号工厂」:随机抽取 1 到 3 个特征,随机赋权重,组合成一个信号。然后我造了 1500 个这样的信号,每个都在真实历史上跑一遍。

关键在于:这 1500 个信号面对的标签是打乱后的。也就是说,它们全部都是废的,一个真的都没有。

只搜 5 个:冠军样本内 +0.0058,样本外 +0.0015
搜 100 个:冠军样本内 +0.0060,样本外 -0.0013
搜 500 个:冠军样本内 +0.0084,样本外 -0.0022
搜 1500 个:冠军样本内 +0.0084,样本外 -0.0022

红线上去了,蓝线在零以下。而你只看到了红色那部分。

这就是为什么「我试了三百种参数,找到了最好的一组」这句话在统计上是不可信的:300 次尝试里,最好那一次的表现,必然比真实水平好,好出来的部分全部来自抽样噪音。

更难看的是这张散点。

1500 个噪音信号,样本内排名与样本外排名的秩相关是 -0.555。
趋势线斜率为负:样本内越好的,样本外越差。

负的。这不是「没关系」,这是「反着来」。

我第一次算出 -0.555 的时候,以为代码写错了,重跑了3 次。后来想明白了:这不是玄学,这是「均值回归」的必然表现。一个纯噪音信号在样本内侥幸超常发挥,那么它在样本外最可能的归宿就是回归到零,也就是「比平均更差」。样本内第一名,就是「侥幸程度第一名」,所以它的回归幅度也最大。

这个道理,用一句话说:你挑出来的不是最好的信号,是最幸运的信号。而运气是不能带走的。

但是,同样的搜索,换个对象就不是这样

如果这篇文章停在上一段,结论就会变成「一切搜索都是自欺」,那是错的。我做了三组搜索,样本量、方法、参数空间都差不多,结局差了一个宇宙。

搜索对象
数量
秩相关
冠军样本外
真实标签 · 随机权重组合
600
+0.9350.1235
真实标签 · 双均线参数网格
86
+0.999
0.0076
随机标签 · 噪音信号池
1500
-0.555-0.0022

请注意中间那一行。86 组双均线参数,样本内排名和样本外排名的秩相关是 0.999。几乎是完全一致的排序。这意味着:在这 86 组参数里,你随便挑,顺序都不会错。你在样本内选出的那一组,样本外一定还是最好的那一组附近。

那为什么它的冠军样本外只有 0.0076?因为它整体就很弱。均线交叉这个信号在月度截面上本来就没什么力气,5.79% 的样本内 IC 里,大部分是它自身的微弱信号,小部分是运气。

第一行是更纯粹的验证:600 个真实标签的随机权重组合,秩相关 +0.935,前 10 名的样本外平均 0.1235,比样本内还高。

凭什么样本外比样本内还高?因为测试期(2023-2026)这个反转结构比训练期更强。这不是模型的功劳,是市场在那段时间里更极端。我在后面会专门说这个。

所以三组搜索的对照,给出的答案是:

过拟合的程度,不取决于你搜了多少次,取决于你搜的东西里有多少真信号。

搜 1500 个假信号,冠军是假的。搜 600 个真信号,冠军是真的。次数不是变量,标的才是。

这句话也顺手回答了「多重检验校正」这个流行概念。多重检验校正的前提是「你做的 M 次检验都是无效假设」,但如果你的 M 次检验里有一部分是真的,校正就会过度。我在这儿不打算给出一个通用的校正公式,我想说的是:先判断你的搜索空间里有没有真东西,再决定要不要校正。

CHAPTER 06

真信号占30%,就够救回来了

上一个结论「取决于标的」听起来像玄学。我把它做成了一个可调旋钮。

方法:构造一个混合标签,γ 比例是真的(未来涨跌幅),1-γ 是打乱的。γ 从 0 调到 1,中间每一档都训练一个相同的模型。

γ=0(全假):样本内 0.1446 样本外 0.0025
γ=0.3:样本内 0.1248 样本外 0.0548
γ=0.5:样本内 0.1573 样本外 0.1042
γ=1.0(全真):样本内 0.1995 样本外 0.1488

注意 γ=0 的时候样本内是 0.1446,不是零。这跟上一章那个 0.39 是一个道理,只不过这次的模型只有深度 4,所以只能虚高到 0.14。

还有一个很反直觉的地方:γ=0 到 γ=0.2,样本内是往下走的(0.1446 → 0.1171)。加了真信号,样本内反而变差。

我一开始觉得这是噪音。后来想,可能是这样:纯噪音标签允许模型把每一个样本都完美记住(没有矛盾),而掺了真信号之后,特征里出现了一部分真实约束,这些约束阻止它乱记。所以样本内变差,是「它开始认真学」的表现。

这个解释我没法严格证明,当成一个猜测看就好。

再看另一张:不管训练时标签掺了多少假,拿到真实测试集上,它能留下多少。

γ=0.3 的时候,在真标签上的测试期 IC 还有 0.1324,相当于纯真时的 89%。

这个数字对我来说是个安慰。它意味着:你不需要数据里全是真信号才能学到东西,30%真的就够留下绝大部分本事。前提是你的模型别太复杂(这里是深度 4)。

但反过来读也成立,而且更值得警惕:γ=0 的时候,拿到真标签上的测试期 IC 是 -0.0013。一个在纯噪音上训练出来的模型,面对真实数据时,表现和「什么都不做」没有区别。

所以判断一个模型有没有学到东西,最直接的问法是:换一批没见过的数据,它还剩多少。剩得多,说明里面有真东西;剩得少,说明练的是背题。

均线参数的形状:为什么它不过拟合

前面那个 0.999 的秩相关值得单独看一眼,因为它解释了「什么样的搜索是安全的」。

86 个点,几乎排成一条线。样本内最好的那组(快线 3、慢线 250),样本外也是最好的那组。但它的绝对值只有 0.0076,中位数是 -0.0082。

为什么它的排序这么稳?看参数面。

样本内的参数面是平滑的,蓝色区域连成一片,没有孤立的尖峰。快线短、慢线长的组合普遍更好,这个「好」是一整片,不是一个点。

样本外的颜色分布几乎一样,只是整体更淡。形状保住了,强度衰减了。

这就是「安全搜索」的判据,我用一句话总结:如果最优参数落在一片开阔的高地上,而不是一根针尖上,那么你选的这个参数大概率是真的;如果它落在一根针尖上,周围一圈全是低的,那它大概率是运气。

这个判据不需要样本外数据,只要看参数面的形状。它比「样本外验证」便宜得多,虽然不如它可靠。

CHAPTER 07

你的15 个想法,可能是四个半

现在回到王总那句话:只要是策略,都多少存在拟合,你的想法本身就是拟合。

我同意这句话,但我想给它加一个更硬的部分:不只是「想法是拟合」,而且大部分时候,你以为是15 个想法,其实是四个半。

15 个特征,两两相关系数的非对角平均绝对值是 0.305。
最强的一对:60 日波动与 120 日波动,0.869。

0.869 是什么概念?这两列几乎是同一列数据。你用「60 日波动」和「120 日波动」两个想法,实际上只获得了一个想法。

而这样的对子,在这张图上到处都是。

60 日波动 ~ 120 日波动:0.869
120 日动量 ~ 250 日均线偏离:0.861
20 日波动 ~ 20 日振幅:0.855
250 日动量 ~ 250 日均线偏离:0.830
60 日动量 ~ 60 日均线偏离:0.815
20 日动量 ~ 20 日均线偏离:0.810

注意后三对:「动量」和「相对均线偏离」在数学上几乎是同一件事。一个说「今天比 N 天前涨了多少」,另一个说「今天比 N 天平均高了多少」。它们当然高度相关,我造特征的时候就知道。

但我还是都放了进去。这不叫「多角度验证」,这叫「同一句话说三遍」。

第一主成分解释 35.8% 的方差
前三根合计 71.1%
前五根合计 83.9%
参与率算出的有效想法数:4.76 / 15

15 个想法,实际独立的是四点七六个。

这个数字是怎么来的?把主成分的方差平方后算比重,再折算成「等效独立维度数」。它的含义是:这套特征能告诉你的独立信息,差不多相当于5 个特征。

这张图解释了为什么。第一主成分上,15 个特征的载荷全部同号,没有一个是负的。

没有负号意味着什么?意味着它们没有互相抵消。如果真有 15 个独立方向,主成分载荷里应该有正有负,像一把扇子。现在它们全部指向同一个方向,说明它们都在度量同一件事。

那件事可以这样描述:「这只股票最近有多活跃、有多强、有多大」。一个复合的「热」指标。

然后这张合成的主成分,在测试期的 IC 是 -0.129。负号说明:越热,后面越冷。

这张图是我做这套实验时最想做的一张。横轴是特征值的五分位,纵轴是未来 20 日的平均涨跌幅。15 根线,15 种下坡姿势。

最陡的是成交额:最低的那 20% 平均 +1.35%,最高的那 20% 平均 -0.45%,差 1.80 个百分点。

而唯一往上走的是「与市场相关性」:+0.16% 到 +0.90%。这个特征和别的都不一样,它度量的不是「热」,是「跟大盘有多同步」。

所以这 15 个特征的真实结构是:14 个在度量「热度」,1 个在度量「同步性」。而「热度」这一族,内部相关 0.3 到 0.87,实际上就是同一个赌注的十几种说法。

这件事对「拟合」的意义在于:你以为你在用 15 个独立想法互相验证,其实你在同一个想法上重复下注 14 次。这种情况下,你的「验证」根本没有增加任何信息,只是让你更自信。

王总说的「想法本身就是拟合」,我现在可以给它一个量化版本:当一个想法被写成一个特征的时候,它就已经在这段数据上被挑过一次了;当你写了十5 个其实只等于5 个的时候,你等于把同一个挑选重复了3 次。

这就是为什么我在第一篇文章里写过「加法白忙,减法才有增益」。删特征比加特征难,但删对了一次,价值超过加十次。

CHAPTER 08

可解释性和样本外,不是取舍关系

这一章是全文的核心,也是我最想拿给王总看的部分。

主流叙事是这样的:简单模型可解释但不够准,复杂模型准但讲不清,你要在两者之间做取舍。

我做了六个模型,从完全可解释到几乎不可解释,排成一排。

模型
样本内
验证
测试
差距
单特征(成交额)
0.0982
0.1156
0.1233
-0.0251
线性加权(15 个系数)
0.1403
0.1475
0.1433
-0.0029
加性树(15 个分段)
0.1472
0.1432
0.1460
+0.0012
梯度提升 · 深度 3
0.1796
0.1520
0.1493
+0.0304
梯度提升 · 深度 5
0.2245
0.1512
0.1456
+0.0789
梯度提升 · 深度 8
0.2996
0.1473
0.1392
+0.1605

最漂亮的是最后一行:样本内 0.2996,是6 行里最高的。最难看的是它的测试期 0.1392,是6 行里最低的。

而测试期最高的是第三行:加性树, 0.1460。它的样本内只有 0.1472,差距 0.0012,几乎是零。

加性树是什么东西?15 棵树,每棵只切一刀,然后把 15 个结果加起来。你可以把它打印出来贴在墙上,每一行都是「当动量大于某值时,贡献 +0.02」这种普通话。

它是最可解释的模型之一,同时是样本外最好的模型。

我必须马上补一句,否则这句话会被过度推广:这是在一份特定数据上、15 个特定特征上、一个特定测试期上的结果,它不能证明「可解释的模型总是更好」。换一套特征、换一个市场,排序可能完全不同。

但它至少证伪了一件事:「可解释性必须以样本外表现为代价」这个说法,不是普遍成立的。在这份数据里,代价是负的,也就是你不仅要了可解释性,还顺手多拿了表现。

能不能被「复述」,是个可测的量

「可解释」这个词太软,我想把它变成一个能算的数字。

做法:用 15 个线性系数去拟合每个模型的输出,看能还原多少(R²)。R² 越高,说明这个模型的行为越能用一个「加权求和」讲清楚,也就是越可解释。


加性树:线性复述能还原 82.6%,测试期 0.1460
深度 3:还原 76.6%,测试期 0.1493
深度 5:还原 67.6%,测试期 0.1456
深度 8:还原 58.7%,测试期 0.1392

这两个数字是正相关的。越讲不清的部分,恰恰就是它在样本内偷学的那部分。

这句话我想再换个说法,因为它可能是这篇文章最有用的判断:一个模型的「不可解释部分」,和它的「过拟合部分」,在数学上高度重叠。

因为「能用一个简单公式复述」的部分,是模型学到的规律;而「没法复述」的部分,是它为这批样本专门定制的补丁。你今天解释不清它,明天它就解释不清自己为什么失效。

这张图的横轴是自由度(叶子总数,对数轴)。从 30 个叶子到 16000 个叶子,涨了500 多倍,样本外最好的是最左边那一档。

所以「可解释」和「好用」在这份数据上不是鱼与熊掌。它们是同一件事的两个侧面,都源自「这个模型到底有没有学到规律」。

学到规律了,它就既好用又讲得清。没学到,它就既难用又讲不清,只是样本内很好看。所谓「黑箱的代价」,很多时候不是「你不懂它」,是「它本来就没有值得懂的东西」。

模型族的总体排序

10 个模型,3 根柱子。红色的排序和蓝色的排序不一致,这是一个很朴素但很少被认真对待的事实。

散点画出来更清楚:越靠右下的点,越是「练出来的好看」。而靠左上的点,是「样本内不出彩,样本外还行」。

我在这张图上花的时间比别的都多,因为它是「选模型」这件事的真实样子:你要选的不是最右边那个,是最上面那个。而这两个位置经常不在同一个模型上。

CHAPTER 09

讲不清的时候,就多看几眼

王总那句话的后半段是:「解不清楚,就多跟踪即可。」

我完全同意,而且我觉得这句话被低估了。它听起来像是「没办法的办法」,实际上它是一个正经的方法论:当你无法从结构上验证一个东西,你可以从时间上验证它。

但「多跟踪」不是没有代价的。这一章我要把这个代价算清楚。

这是滚动 12 期的 IC。180 个窗口,最差的一个是 0.0556,一次都没有跌破零。

这个结果好得让我不太敢信。16 年、180 个窗口、一次都没负,这在真实的策略跟踪里是很少见的。我在最后一章会专门讲我为什么怀疑它。

先看「多跟踪」的代价。

3 期窗口:最差 -0.0562,标准差 0.0810
6 期窗口:最差 +0.0305,标准差 0.0553
12 期窗口:最差 +0.0556,标准差 0.0418
24 期窗口:最差 +0.0811,标准差 0.0308
36 期窗口:最差 +0.1072,标准差 0.0229

左边这张图是「你看到的最差情况」,右边是「波动幅度」。窗口拉长,2 条线都在变好。

但这不是免费的。看代价在哪:

如果信号在第 100 期开始失效,用 3 期窗口,你在第 103 期就能看见;用 36 期窗口,你要到第 136 期才确信。晚3 年。

这就是跟踪的本质矛盾,我用一句话总结:窗口越短,你越早发现变化,也越容易被噪音吓到;窗口越长,你越稳,也越晚知道出事。

这个问题没有普适的解,但它有一个实用的做法:用2 条线。一条短窗口(比如 6 期)负责报警,一条长窗口(24 期)负责定性。 短窗口亮红灯的时候不动作,只提高观察频率;长窗口也转负的时候才动手。

这套做法的代价是:你一定会比「最快的检测」晚一些。但它的好处是:你不会在每一次正常波动里都清仓一次。对我这种容易过度反应的人来说,后者更值钱。

还有一个数值得记一下:单期 IC 为负的概率是 13.2%。也就是说,如果你按「这期是负的就怀疑」来做判断,你平均每7 至 8 期就要怀疑一次。这不是跟踪,这是自虐。

哪一部分是稳定的

跟踪的目的是知道「哪一块在动」。我把每个特征的 IC 按年拆开看。

整片偏蓝,说明这不是某一年的现象,是一个持续了16 年的结构。每一年、每个特征,方向基本都是负的。

唯一杂色的是最下面那行「与市场相关性」,它有时正有时负,2015 年和 2025 年都是 +0.10 附近,2018 年是 -0.07。这个特征不稳定,它本来也不该稳定,因为它度量的东西随市场结构变化。

这张图给我的实用启示是:跟踪的时候,不要只看总 IC,要看到底是哪一块在变化。总 IC 掉了,可能是某个核心特征失效,也可能只是那个不稳定的特征在捣乱。这2 种情况的应对完全不同。

分年度看模型,有一件事很清楚:红色的深度 8 在 2011 到 2019 年一路领先,2020 年之后被反超。

2020 年是一个转折点。如果一个人从 2012 年开始用深度 8,他会连续8 年觉得自己找对了路,然后在 2021 年之后开始怀疑人生。

而那条绿线(加性树)从头到尾都很平,没领过先,也没掉队。它不是一个会让人兴奋的模型,它是一个不需要人操心的模型。

这个对比让我想到一个词:「可跟踪性」。有些模型的表现太陡,你没法判断它的下跌是失效还是正常回落;有些模型的表现太平,你能一眼看出异常。后者看起来平庸,但它省下的判断成本是真实的。

CHAPTER 10

还有两个更软的证据

前面九章都是硬数据,这一章我想说两个不硬但很说明问题的观察。

加特征和加噪音,是两回事

「特征越多越过拟合」这个说法很流行,我做了两个对照实验,结果完全相反。

第一个实验:从 15 个真实特征里,按重要性一个一个往里加。样本内从 0.065 涨到 0.164,样本外从 0.053 涨到 0.112。两边一起涨。

最有意思的是第 3 到第 4 个:加入「成交额」这个特征时,样本外从 0.0534 跳到 0.1045,几乎翻倍。而样本内只从 0.0998 涨到 0.1348。

这是全文唯一一个「加特征带来质变」的地方。因为它是这 15 个里信息量最大的一个,而前面 3 个都是它的弱化版本。

而模型自己的重要性排序里,成交额只排第四。排第一的是「成交额变化」,因为它是最容易切出「这一期特别不一样」的那一刀。

这就是「模型怎么用它」和「它有多大用」的区别。重要性排序衡量的是前者,它对模型的内部机制敏感,对真实贡献不敏感。我不会拿它当研究结论。

第二个实验:往 15 个真实特征里塞纯随机列,塞到 80 列。

样本内从 0.1992 涨到 0.2085,涨了 0.9 个点。样本外从 0.1474 到 0.1473,纹丝不动。

为什么加了 80 列噪音,样本外没事?因为这次我用的是深度 4 的浅树。它有能力忽略噪音列,不会为了拟合噪音而牺牲结构。

所以结论是:「特征多导致过拟合」这句话省掉了一个前提,就是「模型复杂到有能力利用这些噪音」。浅模型加噪音,代价只是样本内虚高一点;深模型加噪音,代价会大得多。

单特征的样本外,比样本内还强

这个观察有点反常,但它很重要。

15 个点里,大部分落在对角线上方。意思是:这些特征在 2023 到 2026 年比在 2010 到 2020 年更有效。

最有代表性的是成交额:训练期 -0.0946,测试期 -0.1252。样本外强了 32%。

这跟「过拟合会衰减」是相反的现象。它说明:衰减不是必然的,它取决于结构有没有变。如果一个结构在被测试的时期里变得更强,模型的表现会上升。

这件事对跟踪的含义是:你不能用「样本外一定比样本内差」来做预期。有时候样本外会更好,而这时候你容易犯另一个错:把「市场变极端」误认为是「我的模型变强了」。

我自己的处理方式很土:看到样本外超过样本内,不去庆祝,先去查这3 年市场发生了什么。多半能找到一个解释,而那个解释通常跟模型无关。

最后一个技术细节:训练期和测试期的回报分布形状接近,但中位数略有差别。这就是为什么我全程用排名相关(IC)而不是线性回归:IC 只关心排序,不受分布形状影响。

CHAPTER 11

我不确定的地方,和那个「稳定的排名」

写到这儿,该交代我自己的疑虑了。这篇的结论我很喜欢,但有几个地方我睡不着。

第一个,也是最要紧的:为什么 180 个滚动窗口,最差的都有 +0.056?

16 年里,市场经历了 2015 年的暴涨暴跌、2018 年的单边下跌、2021 年的结构分化、2022 年的连续调整、2024 年的修复。在这么多种环境里,一个方向都不反转。

这可能有3 个原因,我分不出哪个占主导:

一,这个结构是真的。小市值、低关注、反转偏好在 A 股确实长期存在,16 年不反转是合理的。

二,我的样本有幸存者偏差。4620 只标的是我从本地库里取的,退市的那些不在里面。这个偏差会让「低价、低关注」这一族看起来更安全,因为真正归零的那批被删掉了。

三,价格可能没有完全复权。如果数据里有除权跳空,会在统计上制造出「价格突然变低、随后修复」的假反转。这个机制会系统性地强化所有反转类特征。

我把这三条都列出来,是因为我不能排除后两个。但我想强调:本文的核心结论不依赖这个水平值。

「深度 1 比深度 12 样本外好」「随机标签能把样本内推到 0.39 而样本外归零」「噪音池里搜出来的冠军样本外为负」这三条结论,在幸存者偏差和除权的环境下仍然成立,因为它们是关于「训练和测试的关系」,不是关于「绝对水平有多高」。

这是我想留给读者判断的部分。你可以怀疑我的因子有效,但别用「你的因子无效」来否定过拟合这件事的存在。

另外五条缺口

样本期只到 2026 年 10 月 21 日。之后的行情没进来,所以「测试期」不是终点,它会随着时间继续变化。

只有 A 股一个市场。美股、港股、期货都没做。跨市场的可迁移性未知,我怀疑结论方向一致但幅度不同。

只做了 20 日一个频率。日频、周频、季频都没测。频率越低,独立样本越少,过拟合应该更容易发生,但我没验证。

没有做交易成本和执行的模拟。全程是 IC 口径,所以所有结论都是「预测层面」的,落到能不能做是另一件事。

特征全是手工造的。没有用神经网络自动学特征。如果自动学出来的特征能表达真正的非线性,我的「简单模型更好」这个结论可能不适用。

还有一件事得说:我全程没有对特征做任何「筛选」。15 个特征是一次性放进去的,没有反复试错。如果我是试了 200 个特征才选出这 15 个,那么所有「样本外」的测试都会失效,因为它们已经被间接污染了。

这恰恰是王总那句「想法本身就是拟合」最深的一层:你连「哪些特征值得放进模型」这个决定,都已经用过测试数据了。

王总后来问我什么

这些图我发给王总之后,他回了一条语音,问了一个我没准备好的问题。

他说:「那你现在手里那个模型,你敢说自己讲的清楚吗?」

我想了2 天,答案是:敢讲清楚的部分大概70%,剩30%讲不清。

那70%是:我知道自己在用一个「热度反转」的结构,知道它主要吃的是成交额和波动率,知道它在小市值里更强,知道它在极端行情里会失灵。

那30%是:我说不清为什么是 20 日而不是 25 日,说不清为什么深度 3 比深度 2 好一点点,说不清为什么 2017 年它的表现特别差。

按照这篇文章的数据,那30%恰恰是最可能过拟合的部分。所以我的做法是:把剩下30%当成「随时可能消失的东西」,不给它太高的权重。

具体的做法很土:我不去优化那30%。该用 20 日就用 20 日,不去试 18、19、21、22;该深度 3 就深度 3,不去深挖为什么。因为你一旦开始优化你解释不了的部分,你就是在优化噪音。

这就是我对「取舍」这个词的最终理解:取舍不在「可解释」和「表现」之间,在「我懂的这一块」和「我不懂的这一块」之间。你要做的是让前者占的比重大一点,然后忍住不去碰后者。

最后一个技术观察,正好呼应这个想法:8 次独立训练,重要性排名波动最小的是「成交额变化」(波动 0),波动最大的是「20 日波动」(1.17 位)。

越重要的特征,模型越是稳定地用它;越靠边角的特征,模型每次挑的都不一样。这种「排名稳定性」本身就是一个可解释性指标:如果连模型自己都拿不定主意该用谁,那你也别拿它当结论。

CHAPTER 12

回到那杯茶

王总那个下午还问了我一句:「那你觉得机器学习这条路,值不值得走?」

我说值得,但理由可能跟他想的不一样。

机器学习最大的价值不是「找到更好的策略」。它最大的价值是「让你被迫诚实」。

手工做策略的时候,你可以一边看图一边改规则,改到自己满意为止,中间没有任何记录。而一旦你写代码跑模型,每一步都被固定下来了:多少个特征、多深的树、多少轮、用哪段数据。你想改,就得改代码;改代码,就得留痕。

这个「留痕」本身就是防过拟合的最大工具。因为大部分过拟合不是发生在模型里,是发生在人的记忆里:你忘了自己试过多少次。

所以我对这套东西的评价是:它不会让你变得更聪明,它会让你的愚蠢变得更可测量。

这听起来不像好话,但我觉得这是最高的评价。可测量的愚蠢,是可以修正的;不可测量的聪明,只能靠运气。

如果只记3 句话

整篇 42 张图,如果只能带走三句:

一、过拟合不是「搜得太多」,是「搜的东西里没有真货」。1500 个假信号里搜出来的冠军,样本外是负的;600 个真信号里搜出来的冠军,样本外比样本内还好。次数不决定一切,标的决定一切。

二、可解释性和样本外表现,在这份数据里同向。最能被线性复述的模型(还原 82.6%),样本外最好;最难复述的(还原 58.7%),样本外最差。讲不清的那部分,就是它在样本内偷学的部分。

三、讲不清就多跟踪,但要知道跟踪的代价。窗口 3 期最早发现、最容易被吓到;窗口 36 期最稳、最晚知情。用2 条线,短窗口报警不动作,长窗口转负才动手。

最后说回王总那句话。「只要是策略,都多少存在拟合,你的想法本身就是拟合。」

我的补充是:既然如此,那就别把「没有拟合」当成目标,因为那个目标不存在。把「知道自己在拟合什么」当成目标。

15 个想法等于四个半,这是一个可以测的数字。深度 12 的样本外掉到 0.079,这也是一个可以测的数字。把能测的都测出来,剩下测不到的那部分,交给时间和持仓管理。

茶凉了。他走的时候说下次带我去看看他们那边的真实运行环境。我说好,但我心里想的是:环境不重要,你只要肯把每一版的参数都记下来,就已经赢一半了。

最后,QMT躺平还有少量位置,需要100W以上,懂的私我哟~

本文所有数据来自公开指数日线,用python回算,属于历史统计整理,不构成对任何具体标的的判断,也不构成任何形式的操作指向;历史规律不保证未来重复,文中方法仅作研究记录。市场有波动,决策请独立判断并自行承担相应结果。

数据与方法说明:①样本为本地存储的全部标的日收盘价,交易日 2010 年 1 月 4 日至 2026 年 10 月 21 日共 4077 个,标的 4620 只。②每 20 个交易日取一期,共 191 期;每期取当日有有效价格且成交额大于阈值的标的,特征与标签均在期内做排名标准化。③15 个特征为:5 日 / 20 日 / 60 日 / 120 日 / 250 日涨跌幅,20 日 / 60 日 / 120 日回报标准差,相对 20 日 / 60 日 / 250 日均线的偏离,20 日平均振幅,20 日平均成交额的对数,20 日与 120 日成交额对数之差,与市场等权回报的 60 日相关系数。④标签为未来 20 个交易日涨跌幅,按期内排名标准化,极值裁剪在 -90% 至 500%。⑤切分为训练(前 60% 期)、验证(中间 20%)、测试(后 20%),三段不重叠;测试期只在最后被评估一次。⑥IC 为每期预测值与标签的秩相关系数,报告值为各期 IC 的算术平均。⑦梯度提升使用 LightGBM 4.6.0,200 棵树,学习率 0.05,每叶最少 200 样本,行采样与列采样均为 0.8,L2 正则 1.0,随机种子 42。⑧标签置换为每期内对标签做随机重排;噪声池为 1500 个随机权重线性组合信号在置换标签上评估。⑨双均线网格为快线 3 至 50 日、慢线 10 至 250 日的 86 个有效组合,信号为成分在特征空间上的线性组合。⑩有效想法数采用参与率 (Σλ)² ÷ Σλ² 计算,λ 为 15 个特征在训练期上的相关矩阵特征值。⑪线性近似 R² 用 15 个特征加常数项对模型输出做最小二乘拟合得到。⑫全部计算使用 Python 3.9 / numpy 1.26 / scikit-learn 1.6 / lightgbm 4.6,图形用 matplotlib 3.8 以 200 dpi 生成。

免责声明:本文所有观点为个人思考,读者据此所做的任何决定与行为,风险自担,与本文作者及本公众号无关。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203698