你的想法就是拟合:模型练到0.33,出去只剩0.08
| 正文共:14,844字 含 42 张配图 预计阅读时间:38分钟 |
上周三下午,一个北方来的朋友(某私M产品经理)在我这儿坐了两个多小时。
他姓王,做了10 多年,管过不小的钱,这2 年把重心挪到模型上。茶泡了三道,他忽然把杯子放下,说了一句我记到现在的话。
他说:「你们搞机器学习最麻烦的地方,是这玩意儿说不清。」
我说你是担心它不可解释,还是担心它过拟合?
他想了想,说这两件事是一件事吧。你解释不清,就不知道它为什么赚;你不知道它为什么赚,就不知道它什么时候会不赚。
后来我给他倒茶的时候,说了一句:其实你手上那些能讲得明明白白的策略,也全是拟合。
他愣了一下,说这话怎么讲。
我说你想想你那个「放量突破」是怎么来的。你先在图上看见过一次,然后回头看历史上别的地方是不是也这样,然后你调了调「放量」的倍数、「突破」的窗口,直到它看起来成立。这个过程本身就和你说的那些黑箱在做同一件事,只是你的搜索空间小一点,你能用嘴讲出来。
他把茶喝完,说:「行,那你说说到底怎么办。」
这篇文章聊的就是这个方向。我用自己攒了1多年的数据做了一整套实验。结论可能跟他想的不太一样:可解释性和样本外表现,在这份数据里不是取舍关系,它们是一伙的。
这就是那两个多小时的产物。蓝色的线是「你在训练集上看到的东西」,红色的线是「你换一批数据看到的东西」。它们中间那块面积,就是你为「想得太明白」付的钱。
CHAPTER 01
先把「拟合」这个词拆开
「拟合」在中文语境里是个贬义词,一说出这个词,对方基本就懂了:你在骗自己。
但这个词的原始含义一点都不贬义。拟合就是「让一条曲线尽量穿过这些点」。你不拟合,你就是在瞎猜。所有有效的模型都拟合,不拟合的模型什么都不做。
真正的问题是另一个:你拟合的是规律,还是拟合了这批数据的偶然。
这两个东西在数据里长得一模一样。这是我做这套实验最深的体会:没有任何一个统计量能告诉你「你拟合的是哪个」,你只能通过换数据来测。
所以下面所有的图,横轴基本都是「模型复杂度」或「搜索了多少次」,纵轴基本都是「在没见过的新数据上表现如何」。只有一个轴有意义,就是第二个。
我的实验是怎么搭的
先交代清楚家底,不然所有结论都是空的。
数据是我本地存的全市场日行情,2010 年 1 月 4 日到 2026 年 10 月 21 日,4077 个交易日,4620 只标的。每 20 个交易日取一期,一共 191 期。每期里,把当天所有有价格的标的横向摆开,构成一个截面。
特征 15 个,全部是我用手能数出来的东西:5 个不同回看期的动量、3 个不同窗口的波动、3 个相对均线的偏离、20 日振幅、20 日成交额对数、成交额变化、与市场的 60 日相关性。没有一个是深度学习自己想出来的,都是「想法」。
标签是未来 20 个交易日的涨跌幅。所有特征和标签都在期内做了排名标准化,压到 -1 到 1 之间。这一步很关键,它顺手消掉了市场整体的涨跌,只留下「这一期谁比谁强」。
然后按时间切三段,绝不重叠。
训练期:2010-01 至 2020-06,114 期,189,964 行
验证期:2020-06 至 2023-07,38 期,这是用来做选择的
测试期:2023-07 至 2026-10,39 期,这一段我一次都没用来调参
为什么要三段而不是两段?因为你一旦用某一段数据去挑模型,那一段就不再是「没见过的数据」了。三段的意义是:训练期学,验证期挑,测试期只负责说实话。
还有一个必须说清的地方:我全程用 IC,不用净值。
IC 是「每期预测值和真实涨跌幅的排名相关系数」。它衡量的是排序能力,不掺交易成本、不掺持仓结构、不掺换仓频率。用它是为了让结论干净:一旦掺进执行细节,「模型问题」和「执行问题」就混在一起,说不清了。
这也意味着下面所有数字都不能直接换算成回报率。IC 0.13 这种水平,落到净值上是什么样,取决于太多别的东西。本文只谈「预测得准不准」,不谈能赚多少。
标签本身长这样,左边是分布,右边是累计。中位数略微偏正,为负的占40% 多。这个不对称很重要,它意味着「什么都不做」有一个小小的正期望,后面解释为什么有些模型的样本外看起来比样本内还强,要用到这一点。
先看看单期 IC 有多吵
在讲复杂度之前,我要先说一件很多人忽略的事:IC 这个指标本身噪音极大。
同一个模型、同一套特征,191 期里有 13.2% 的期数是反的。5 分位那一档是 -0.071。
这件事的含义是:你随便挑一个月去看,有大约1/7的机会看到一个「完全失效」的模型。而大部分人对策略的判断,恰恰就是在某一个月里做出的。
所以判断一个东西有没有失效,单期 IC 是不够的,必须拉长。
灰线是每一期的原始 IC,上下翻飞。蓝线是 12 期滚动平均,一下就安静了。
单期标准差 0.131,191 期的均值标准误只有 0.0095。也就是说,单期那些吓人的波动,绝大部分是噪音,不是信号在变。
这一节看起来跟过拟合无关,但它是后面一切的底子。因为「过拟合」这个判断,本质上也是在噪音里找结构:你看到样本内 0.328,样本外 0.079,你得确认这个差距不是噪音造成的。
CHAPTER 02
只改一个参数,样本内外岔开 0.25
现在进正题。
我用同一个梯度提升模型,同样的 15 个特征,同样的 200 棵树、同样的学习率、同样的随机种子、同样的正则。唯一改动的,是树的最大深度,从 1 调到 12。
红线上去了,蓝线下来了。它们之间那片红色阴影,从几乎看不见,一直涨到 0.249。
深度 1:样本内 0.1360 测试期 0.1319 差 0.0041
深度 4:样本内 0.1647 测试期 0.1123 差 0.0525
深度 8:样本内 0.2448 测试期 0.0900 差 0.1549
深度 12:样本内 0.3283 测试期 0.0792 差 0.2491
注意一个细节:测试期最高的那一档是深度 1,0.1319。不是深度 3,不是深度 4,是最简单的那个。
深度 1 是什么意思?深度 1 的树不能做任何交互,它就是把每个特征切成两段,然后加总。本质上是「15 个开关的加权求和」,跟线性模型一个层级的东西。
而深度 12 有能力记住「动量高、同时波动低、同时成交额大、并且这一期刚好是三月」这种极度具体的组合。它确实记住了,而且记得非常好,好到在训练集上无人能敌。
这就是过拟合的全部含义,一句话说完:它在学「这一批样本」,不是学「这件事」。
把差距单独画出来,是一条几乎笔直的上升线。这条线的存在说明差距不是运气,是复杂度的函数。
我特别想说的是深度 1 和 2 之间的那一格:0.0041 到 0.0197。只加了一层交互,代价就翻了五倍。但样本外的回报在这一步是涨的(0.1319 到 0.1241,其实是跌的,我记错了)。
对不起,这里我得停下来改口。深度 2 的测试期是 0.1241,比深度 1 的 0.1319 更低。也就是说,在这份数据上,从最简单的那一层往外走一小步,样本外就开始往下掉。
我原本以为会有一个「先涨后跌」的甜蜜点,就像教科书上那张经典的 U 型图。结果没有。这份数据里,最简单的模型就是最好的模型,一路往下。
我不确定这是不是普遍规律。它可能只是说明:我准备的这 15 个特征里,压根没有需要「交互」才能表达的东西。如果你的特征里藏着真正的交互关系(比如「小市值且高动量」才有效),那深度 2 可能会赢。
但这段数据至少证伪了一个很流行的说法:「复杂模型总能通过调参找到一个不输给简单模型的解」。理论上它有这个能力(深度 12 包含深度 1 的所有解),实践上它找不到,因为梯度提升是贪心的,它每一步都往「更拟合训练集」的方向走。
CHAPTER 03
换一个旋钮,代价一模一样
有人会觉得:深度是「结构复杂度」,那我不动结构,只多训练几轮,总不会过拟合吧。
会。而且代价一样。
10 轮:样本内 0.1337 测试期 0.1319
80 轮:样本内 0.1536 测试期 0.1218
260 轮:样本内 0.1692 测试期 0.1083
800 轮:样本内 0.1984 测试期 0.0903
从 10 轮到 800 轮,样本内涨了 6.5 个百分点,样本外掉了 4.2 个百分点。而最优的轮数是 10,也就是我网格里最小的那个值。
这个结果让我有点不舒服,因为它意味着:我精心设计的「用早停来找最优轮数」这套流程,在这份数据上的正确答案是「几乎不训练」。
而如果我拿验证期来做早停选择,我会选到 50 轮,测试期是 0.1242,比 10 轮的 0.1319 差一点。也就是说,连「用验证期挑超参」这件事本身,都带来了一点点损失。
这句话很重要,我要展开说:验证期不是无限的。你用验证期做了100 次选择,验证期就被你「用旧」了,它跟训练集的区别会越来越小。这个现象有个名字叫「验证集泄漏」,但它不是代码 bug,是流程的必然结果。
所以我在整个实验里,测试期只在最后被跑了一次。那一次跑出来的数字,才是我敢写进文章的数字。
数据量是另一根杠杆
第三个实验:不动模型,只动训练数据量。
只用 1.4 万行的时候,样本内 IC 是 0.272。这个数字比深度 8 的 0.245 还高,而这个模型只有深度 4。
数据量加到 19 万行,样本内降到 0.164,样本外升到 0.113。2 条线在数据量增加的过程中逐渐靠近。
这是一个我很喜欢的结论,因为它给出了一个可操作的方向:当你发现样本内外差距很大的时候,除了降复杂度,还可以加数据。而降复杂度会损失真实信号,加数据不会。
不过加数据有个天花板:你能加的是「历史」,而历史不能无限延长。A 股有效数据就这么多年,月度频率最多100 多期,这是硬约束。所以真正能加的是「横截面」:多找标的、多找市场、多找频率。
这张热力图是我最喜欢的一张。左边是样本内,右边是样本外,纵轴是模型深度,横轴是训练用的期数。
看左下角那个 0.49。那是「只用 4 期数据、深度 6」的样本内 IC。4 期数据,4000 多个样本,模型能拟合到 0.49,这个数字放在任何研究报告里都是「惊艳」的。
而它的样本外是多少?0.080。比什么都不做的深度 1(0.146)还差一半。
差距的热力图,红的都在左边和上面。左上角的意思是:数据少、模型深,这两件事只要凑齐一件,就会开始骗你;凑齐两件,骗得最狠。
我在这儿想补一句关于「样本量」的经验:不是「样本行数」够就行,是「独立期数」够才行。
一期里有几千只股票,看起来样本很多。但同一期的几千个样本,共享同一个市场环境、同一批宏观事件、同一种情绪。它们在统计上高度不独立。你用 4 期数据训练,实际的信息量可能只相当于 4 个独立观察,而不是 2 万个。
这就是为什么横截面因子研究这么容易自欺:行数给了你虚假的安全感。
CHAPTER 04
把标签打乱,模型照样能学到 0.39
前面那些都是「在真实数据上把模型搞复杂」。这一章我要做一个更狠的实验:把未来涨跌幅随机打乱,让数据里彻底不存在任何可预测的东西,然后看模型能学到多少。
做法很直接:每一期里,把「谁涨得多」这个标签随机重新分配给这一期的股票。特征不动,标签洗牌。这样任何特征和标签之间的真实关系都会被彻底斩断。
深度 10 的模型,在完全随机的标签上,样本内 IC 做到了 0.391。
我要强调这个 0.391 有多荒谬:它比真实数据上深度 10 的 0.294 还高。也就是说,模型在「什么都学不到」的数据上,表现得比在「有真实规律」的数据上更好。
为什么?因为真实规律太弱了,它限制了模型的自由度;而纯随机标签没有任何规律,模型可以完全自由地记住每一个样本。记住了,样本内就是满分。
然后看样本外。
10 个深度、10 个点,全部落在 -0.005 到 -0.0025 之间。
全部归零,而且微微为负。那个负号也不是玄学,它来自随机标签在测试期的抽样波动,均值回归到零,落在负侧只是这一次的运气。
这张图是我整篇文章里最看重的一张,因为它把一件事分得干干净净:
「样本内做得好」和「真的学到了东西」,是两个完全独立的能力。前者只要模型够复杂就能做到,完全不需要数据里有规律。
三条线放一起,故事就完整了。红线是随机标签下的样本内,一路冲到 0.39。蓝线是随机标签下的样本外,贴着零走。绿线是真实标签下的样本外,从 0.047 一路降到 0.014。
绿线也在下降,但它的下降是有底部的。红线没有底部,它可以无限上升(只要模型够深),因为它的目标本来就不存在。
这个对比给了我一个很实用的判断工具:如果你看到一个模型样本内 IC 特别高(比如 0.3 以上),先别高兴,先问一句「这跟随机标签下的表现比,高多少」。
真实标签在深度 10 的样本内是 0.294,随机标签是 0.391。差值是负的。这句话翻译成人话就是:在这个深度上,你的模型对真实数据的拟合程度,还不如它对噪音的拟合程度。它不是在学习,它是在容量过剩地乱记。
CHAPTER 05
搜得越多,冠军越假
这一段是全文最反直觉的部分,也是王总那句「想法本身就是拟合」的实证。
我造了一个「信号工厂」:随机抽取 1 到 3 个特征,随机赋权重,组合成一个信号。然后我造了 1500 个这样的信号,每个都在真实历史上跑一遍。
关键在于:这 1500 个信号面对的标签是打乱后的。也就是说,它们全部都是废的,一个真的都没有。
只搜 5 个:冠军样本内 +0.0058,样本外 +0.0015
搜 100 个:冠军样本内 +0.0060,样本外 -0.0013
搜 500 个:冠军样本内 +0.0084,样本外 -0.0022
搜 1500 个:冠军样本内 +0.0084,样本外 -0.0022
红线上去了,蓝线在零以下。而你只看到了红色那部分。
这就是为什么「我试了三百种参数,找到了最好的一组」这句话在统计上是不可信的:300 次尝试里,最好那一次的表现,必然比真实水平好,好出来的部分全部来自抽样噪音。
更难看的是这张散点。
1500 个噪音信号,样本内排名与样本外排名的秩相关是 -0.555。
趋势线斜率为负:样本内越好的,样本外越差。
负的。这不是「没关系」,这是「反着来」。
我第一次算出 -0.555 的时候,以为代码写错了,重跑了3 次。后来想明白了:这不是玄学,这是「均值回归」的必然表现。一个纯噪音信号在样本内侥幸超常发挥,那么它在样本外最可能的归宿就是回归到零,也就是「比平均更差」。样本内第一名,就是「侥幸程度第一名」,所以它的回归幅度也最大。
这个道理,用一句话说:你挑出来的不是最好的信号,是最幸运的信号。而运气是不能带走的。
但是,同样的搜索,换个对象就不是这样
如果这篇文章停在上一段,结论就会变成「一切搜索都是自欺」,那是错的。我做了三组搜索,样本量、方法、参数空间都差不多,结局差了一个宇宙。
| | | |
|---|
| | +0.935 | 0.1235 |
| | +0.999 | |
| | -0.555 | -0.0022 |
请注意中间那一行。86 组双均线参数,样本内排名和样本外排名的秩相关是 0.999。几乎是完全一致的排序。这意味着:在这 86 组参数里,你随便挑,顺序都不会错。你在样本内选出的那一组,样本外一定还是最好的那一组附近。
那为什么它的冠军样本外只有 0.0076?因为它整体就很弱。均线交叉这个信号在月度截面上本来就没什么力气,5.79% 的样本内 IC 里,大部分是它自身的微弱信号,小部分是运气。
第一行是更纯粹的验证:600 个真实标签的随机权重组合,秩相关 +0.935,前 10 名的样本外平均 0.1235,比样本内还高。
凭什么样本外比样本内还高?因为测试期(2023-2026)这个反转结构比训练期更强。这不是模型的功劳,是市场在那段时间里更极端。我在后面会专门说这个。
所以三组搜索的对照,给出的答案是:
过拟合的程度,不取决于你搜了多少次,取决于你搜的东西里有多少真信号。
搜 1500 个假信号,冠军是假的。搜 600 个真信号,冠军是真的。次数不是变量,标的才是。
这句话也顺手回答了「多重检验校正」这个流行概念。多重检验校正的前提是「你做的 M 次检验都是无效假设」,但如果你的 M 次检验里有一部分是真的,校正就会过度。我在这儿不打算给出一个通用的校正公式,我想说的是:先判断你的搜索空间里有没有真东西,再决定要不要校正。
CHAPTER 06
真信号占30%,就够救回来了
上一个结论「取决于标的」听起来像玄学。我把它做成了一个可调旋钮。
方法:构造一个混合标签,γ 比例是真的(未来涨跌幅),1-γ 是打乱的。γ 从 0 调到 1,中间每一档都训练一个相同的模型。
γ=0(全假):样本内 0.1446 样本外 0.0025
γ=0.3:样本内 0.1248 样本外 0.0548
γ=0.5:样本内 0.1573 样本外 0.1042
γ=1.0(全真):样本内 0.1995 样本外 0.1488
注意 γ=0 的时候样本内是 0.1446,不是零。这跟上一章那个 0.39 是一个道理,只不过这次的模型只有深度 4,所以只能虚高到 0.14。
还有一个很反直觉的地方:γ=0 到 γ=0.2,样本内是往下走的(0.1446 → 0.1171)。加了真信号,样本内反而变差。
我一开始觉得这是噪音。后来想,可能是这样:纯噪音标签允许模型把每一个样本都完美记住(没有矛盾),而掺了真信号之后,特征里出现了一部分真实约束,这些约束阻止它乱记。所以样本内变差,是「它开始认真学」的表现。
这个解释我没法严格证明,当成一个猜测看就好。
再看另一张:不管训练时标签掺了多少假,拿到真实测试集上,它能留下多少。
γ=0.3 的时候,在真标签上的测试期 IC 还有 0.1324,相当于纯真时的 89%。
这个数字对我来说是个安慰。它意味着:你不需要数据里全是真信号才能学到东西,30%真的就够留下绝大部分本事。前提是你的模型别太复杂(这里是深度 4)。
但反过来读也成立,而且更值得警惕:γ=0 的时候,拿到真标签上的测试期 IC 是 -0.0013。一个在纯噪音上训练出来的模型,面对真实数据时,表现和「什么都不做」没有区别。
所以判断一个模型有没有学到东西,最直接的问法是:换一批没见过的数据,它还剩多少。剩得多,说明里面有真东西;剩得少,说明练的是背题。
均线参数的形状:为什么它不过拟合
前面那个 0.999 的秩相关值得单独看一眼,因为它解释了「什么样的搜索是安全的」。
86 个点,几乎排成一条线。样本内最好的那组(快线 3、慢线 250),样本外也是最好的那组。但它的绝对值只有 0.0076,中位数是 -0.0082。
为什么它的排序这么稳?看参数面。
样本内的参数面是平滑的,蓝色区域连成一片,没有孤立的尖峰。快线短、慢线长的组合普遍更好,这个「好」是一整片,不是一个点。
样本外的颜色分布几乎一样,只是整体更淡。形状保住了,强度衰减了。
这就是「安全搜索」的判据,我用一句话总结:如果最优参数落在一片开阔的高地上,而不是一根针尖上,那么你选的这个参数大概率是真的;如果它落在一根针尖上,周围一圈全是低的,那它大概率是运气。
这个判据不需要样本外数据,只要看参数面的形状。它比「样本外验证」便宜得多,虽然不如它可靠。
CHAPTER 07
你的15 个想法,可能是四个半
现在回到王总那句话:只要是策略,都多少存在拟合,你的想法本身就是拟合。
我同意这句话,但我想给它加一个更硬的部分:不只是「想法是拟合」,而且大部分时候,你以为是15 个想法,其实是四个半。
15 个特征,两两相关系数的非对角平均绝对值是 0.305。
最强的一对:60 日波动与 120 日波动,0.869。
0.869 是什么概念?这两列几乎是同一列数据。你用「60 日波动」和「120 日波动」两个想法,实际上只获得了一个想法。
而这样的对子,在这张图上到处都是。
60 日波动 ~ 120 日波动:0.869
120 日动量 ~ 250 日均线偏离:0.861
20 日波动 ~ 20 日振幅:0.855
250 日动量 ~ 250 日均线偏离:0.830
60 日动量 ~ 60 日均线偏离:0.815
20 日动量 ~ 20 日均线偏离:0.810
注意后三对:「动量」和「相对均线偏离」在数学上几乎是同一件事。一个说「今天比 N 天前涨了多少」,另一个说「今天比 N 天平均高了多少」。它们当然高度相关,我造特征的时候就知道。
但我还是都放了进去。这不叫「多角度验证」,这叫「同一句话说三遍」。
第一主成分解释 35.8% 的方差
前三根合计 71.1%
前五根合计 83.9%
参与率算出的有效想法数:4.76 / 15
15 个想法,实际独立的是四点七六个。
这个数字是怎么来的?把主成分的方差平方后算比重,再折算成「等效独立维度数」。它的含义是:这套特征能告诉你的独立信息,差不多相当于5 个特征。
这张图解释了为什么。第一主成分上,15 个特征的载荷全部同号,没有一个是负的。
没有负号意味着什么?意味着它们没有互相抵消。如果真有 15 个独立方向,主成分载荷里应该有正有负,像一把扇子。现在它们全部指向同一个方向,说明它们都在度量同一件事。
那件事可以这样描述:「这只股票最近有多活跃、有多强、有多大」。一个复合的「热」指标。
然后这张合成的主成分,在测试期的 IC 是 -0.129。负号说明:越热,后面越冷。
这张图是我做这套实验时最想做的一张。横轴是特征值的五分位,纵轴是未来 20 日的平均涨跌幅。15 根线,15 种下坡姿势。
最陡的是成交额:最低的那 20% 平均 +1.35%,最高的那 20% 平均 -0.45%,差 1.80 个百分点。
而唯一往上走的是「与市场相关性」:+0.16% 到 +0.90%。这个特征和别的都不一样,它度量的不是「热」,是「跟大盘有多同步」。
所以这 15 个特征的真实结构是:14 个在度量「热度」,1 个在度量「同步性」。而「热度」这一族,内部相关 0.3 到 0.87,实际上就是同一个赌注的十几种说法。
这件事对「拟合」的意义在于:你以为你在用 15 个独立想法互相验证,其实你在同一个想法上重复下注 14 次。这种情况下,你的「验证」根本没有增加任何信息,只是让你更自信。
王总说的「想法本身就是拟合」,我现在可以给它一个量化版本:当一个想法被写成一个特征的时候,它就已经在这段数据上被挑过一次了;当你写了十5 个其实只等于5 个的时候,你等于把同一个挑选重复了3 次。
这就是为什么我在第一篇文章里写过「加法白忙,减法才有增益」。删特征比加特征难,但删对了一次,价值超过加十次。
CHAPTER 08
可解释性和样本外,不是取舍关系
这一章是全文的核心,也是我最想拿给王总看的部分。
主流叙事是这样的:简单模型可解释但不够准,复杂模型准但讲不清,你要在两者之间做取舍。
我做了六个模型,从完全可解释到几乎不可解释,排成一排。
最漂亮的是最后一行:样本内 0.2996,是6 行里最高的。最难看的是它的测试期 0.1392,是6 行里最低的。
而测试期最高的是第三行:加性树,
0.1460。它的样本内只有 0.1472,差距 0.0012,几乎是零。
加性树是什么东西?15 棵树,每棵只切一刀,然后把 15 个结果加起来。你可以把它打印出来贴在墙上,每一行都是「当动量大于某值时,贡献 +0.02」这种普通话。
它是最可解释的模型之一,同时是样本外最好的模型。
我必须马上补一句,否则这句话会被过度推广:这是在一份特定数据上、15 个特定特征上、一个特定测试期上的结果,它不能证明「可解释的模型总是更好」。换一套特征、换一个市场,排序可能完全不同。
但它至少证伪了一件事:「可解释性必须以样本外表现为代价」这个说法,不是普遍成立的。在这份数据里,代价是负的,也就是你不仅要了可解释性,还顺手多拿了表现。
能不能被「复述」,是个可测的量
「可解释」这个词太软,我想把它变成一个能算的数字。
做法:用 15 个线性系数去拟合每个模型的输出,看能还原多少(R²)。R² 越高,说明这个模型的行为越能用一个「加权求和」讲清楚,也就是越可解释。
加性树:线性复述能还原 82.6%,测试期 0.1460
深度 3:还原 76.6%,测试期 0.1493
深度 5:还原 67.6%,测试期 0.1456
深度 8:还原 58.7%,测试期 0.1392这两个数字是正相关的。越讲不清的部分,恰恰就是它在样本内偷学的那部分。
这句话我想再换个说法,因为它可能是这篇文章最有用的判断:一个模型的「不可解释部分」,和它的「过拟合部分」,在数学上高度重叠。
因为「能用一个简单公式复述」的部分,是模型学到的规律;而「没法复述」的部分,是它为这批样本专门定制的补丁。你今天解释不清它,明天它就解释不清自己为什么失效。
这张图的横轴是自由度(叶子总数,对数轴)。从 30 个叶子到 16000 个叶子,涨了500 多倍,样本外最好的是最左边那一档。
所以「可解释」和「好用」在这份数据上不是鱼与熊掌。它们是同一件事的两个侧面,都源自「这个模型到底有没有学到规律」。
学到规律了,它就既好用又讲得清。没学到,它就既难用又讲不清,只是样本内很好看。所谓「黑箱的代价」,很多时候不是「你不懂它」,是「它本来就没有值得懂的东西」。
模型族的总体排序
10 个模型,3 根柱子。红色的排序和蓝色的排序不一致,这是一个很朴素但很少被认真对待的事实。
散点画出来更清楚:越靠右下的点,越是「练出来的好看」。而靠左上的点,是「样本内不出彩,样本外还行」。
我在这张图上花的时间比别的都多,因为它是「选模型」这件事的真实样子:你要选的不是最右边那个,是最上面那个。而这两个位置经常不在同一个模型上。
CHAPTER 09
讲不清的时候,就多看几眼
王总那句话的后半段是:「解不清楚,就多跟踪即可。」
我完全同意,而且我觉得这句话被低估了。它听起来像是「没办法的办法」,实际上它是一个正经的方法论:当你无法从结构上验证一个东西,你可以从时间上验证它。
但「多跟踪」不是没有代价的。这一章我要把这个代价算清楚。
这是滚动 12 期的 IC。180 个窗口,最差的一个是 0.0556,一次都没有跌破零。
这个结果好得让我不太敢信。16 年、180 个窗口、一次都没负,这在真实的策略跟踪里是很少见的。我在最后一章会专门讲我为什么怀疑它。
先看「多跟踪」的代价。
3 期窗口:最差 -0.0562,标准差 0.0810
6 期窗口:最差 +0.0305,标准差 0.0553
12 期窗口:最差 +0.0556,标准差 0.0418
24 期窗口:最差 +0.0811,标准差 0.0308
36 期窗口:最差 +0.1072,标准差 0.0229
左边这张图是「你看到的最差情况」,右边是「波动幅度」。窗口拉长,2 条线都在变好。
但这不是免费的。看代价在哪:
如果信号在第 100 期开始失效,用 3 期窗口,你在第 103 期就能看见;用 36 期窗口,你要到第 136 期才确信。晚3 年。
这就是跟踪的本质矛盾,我用一句话总结:窗口越短,你越早发现变化,也越容易被噪音吓到;窗口越长,你越稳,也越晚知道出事。
这个问题没有普适的解,但它有一个实用的做法:用2 条线。一条短窗口(比如 6 期)负责报警,一条长窗口(24 期)负责定性。
短窗口亮红灯的时候不动作,只提高观察频率;长窗口也转负的时候才动手。
这套做法的代价是:你一定会比「最快的检测」晚一些。但它的好处是:你不会在每一次正常波动里都清仓一次。对我这种容易过度反应的人来说,后者更值钱。
还有一个数值得记一下:单期 IC 为负的概率是 13.2%。也就是说,如果你按「这期是负的就怀疑」来做判断,你平均每7 至 8 期就要怀疑一次。这不是跟踪,这是自虐。
哪一部分是稳定的
跟踪的目的是知道「哪一块在动」。我把每个特征的 IC 按年拆开看。
整片偏蓝,说明这不是某一年的现象,是一个持续了16 年的结构。每一年、每个特征,方向基本都是负的。
唯一杂色的是最下面那行「与市场相关性」,它有时正有时负,2015 年和 2025 年都是 +0.10 附近,2018 年是 -0.07。这个特征不稳定,它本来也不该稳定,因为它度量的东西随市场结构变化。
这张图给我的实用启示是:跟踪的时候,不要只看总 IC,要看到底是哪一块在变化。总 IC 掉了,可能是某个核心特征失效,也可能只是那个不稳定的特征在捣乱。这2 种情况的应对完全不同。
分年度看模型,有一件事很清楚:红色的深度 8 在 2011 到 2019 年一路领先,2020 年之后被反超。
2020 年是一个转折点。如果一个人从 2012 年开始用深度 8,他会连续8 年觉得自己找对了路,然后在 2021 年之后开始怀疑人生。
而那条绿线(加性树)从头到尾都很平,没领过先,也没掉队。它不是一个会让人兴奋的模型,它是一个不需要人操心的模型。
这个对比让我想到一个词:「可跟踪性」。有些模型的表现太陡,你没法判断它的下跌是失效还是正常回落;有些模型的表现太平,你能一眼看出异常。后者看起来平庸,但它省下的判断成本是真实的。
CHAPTER 10
还有两个更软的证据
前面九章都是硬数据,这一章我想说两个不硬但很说明问题的观察。
加特征和加噪音,是两回事
「特征越多越过拟合」这个说法很流行,我做了两个对照实验,结果完全相反。
第一个实验:从 15 个真实特征里,按重要性一个一个往里加。样本内从 0.065 涨到 0.164,样本外从 0.053 涨到 0.112。两边一起涨。
最有意思的是第 3 到第 4 个:加入「成交额」这个特征时,样本外从 0.0534 跳到 0.1045,几乎翻倍。而样本内只从 0.0998 涨到 0.1348。
这是全文唯一一个「加特征带来质变」的地方。因为它是这 15 个里信息量最大的一个,而前面 3 个都是它的弱化版本。
而模型自己的重要性排序里,成交额只排第四。排第一的是「成交额变化」,因为它是最容易切出「这一期特别不一样」的那一刀。
这就是「模型怎么用它」和「它有多大用」的区别。重要性排序衡量的是前者,它对模型的内部机制敏感,对真实贡献不敏感。我不会拿它当研究结论。
第二个实验:往 15 个真实特征里塞纯随机列,塞到 80 列。
样本内从 0.1992 涨到 0.2085,涨了 0.9 个点。样本外从 0.1474 到 0.1473,纹丝不动。
为什么加了 80 列噪音,样本外没事?因为这次我用的是深度 4 的浅树。它有能力忽略噪音列,不会为了拟合噪音而牺牲结构。
所以结论是:「特征多导致过拟合」这句话省掉了一个前提,就是「模型复杂到有能力利用这些噪音」。浅模型加噪音,代价只是样本内虚高一点;深模型加噪音,代价会大得多。
单特征的样本外,比样本内还强
这个观察有点反常,但它很重要。
15 个点里,大部分落在对角线上方。意思是:这些特征在 2023 到 2026 年比在 2010 到 2020 年更有效。
最有代表性的是成交额:训练期 -0.0946,测试期 -0.1252。样本外强了 32%。
这跟「过拟合会衰减」是相反的现象。它说明:衰减不是必然的,它取决于结构有没有变。如果一个结构在被测试的时期里变得更强,模型的表现会上升。
这件事对跟踪的含义是:你不能用「样本外一定比样本内差」来做预期。有时候样本外会更好,而这时候你容易犯另一个错:把「市场变极端」误认为是「我的模型变强了」。
我自己的处理方式很土:看到样本外超过样本内,不去庆祝,先去查这3 年市场发生了什么。多半能找到一个解释,而那个解释通常跟模型无关。
最后一个技术细节:训练期和测试期的回报分布形状接近,但中位数略有差别。这就是为什么我全程用排名相关(IC)而不是线性回归:IC 只关心排序,不受分布形状影响。
CHAPTER 11
我不确定的地方,和那个「稳定的排名」
写到这儿,该交代我自己的疑虑了。这篇的结论我很喜欢,但有几个地方我睡不着。
第一个,也是最要紧的:为什么 180 个滚动窗口,最差的都有 +0.056?
16 年里,市场经历了 2015 年的暴涨暴跌、2018 年的单边下跌、2021 年的结构分化、2022 年的连续调整、2024 年的修复。在这么多种环境里,一个方向都不反转。
这可能有3 个原因,我分不出哪个占主导:
一,这个结构是真的。小市值、低关注、反转偏好在 A 股确实长期存在,16 年不反转是合理的。
二,我的样本有幸存者偏差。4620 只标的是我从本地库里取的,退市的那些不在里面。这个偏差会让「低价、低关注」这一族看起来更安全,因为真正归零的那批被删掉了。
三,价格可能没有完全复权。如果数据里有除权跳空,会在统计上制造出「价格突然变低、随后修复」的假反转。这个机制会系统性地强化所有反转类特征。
我把这三条都列出来,是因为我不能排除后两个。但我想强调:本文的核心结论不依赖这个水平值。
「深度 1 比深度 12 样本外好」「随机标签能把样本内推到 0.39 而样本外归零」「噪音池里搜出来的冠军样本外为负」这三条结论,在幸存者偏差和除权的环境下仍然成立,因为它们是关于「训练和测试的关系」,不是关于「绝对水平有多高」。
这是我想留给读者判断的部分。你可以怀疑我的因子有效,但别用「你的因子无效」来否定过拟合这件事的存在。
另外五条缺口
样本期只到 2026 年 10 月 21 日。之后的行情没进来,所以「测试期」不是终点,它会随着时间继续变化。
只有 A 股一个市场。美股、港股、期货都没做。跨市场的可迁移性未知,我怀疑结论方向一致但幅度不同。
只做了 20 日一个频率。日频、周频、季频都没测。频率越低,独立样本越少,过拟合应该更容易发生,但我没验证。
没有做交易成本和执行的模拟。全程是 IC 口径,所以所有结论都是「预测层面」的,落到能不能做是另一件事。
特征全是手工造的。没有用神经网络自动学特征。如果自动学出来的特征能表达真正的非线性,我的「简单模型更好」这个结论可能不适用。
还有一件事得说:我全程没有对特征做任何「筛选」。15 个特征是一次性放进去的,没有反复试错。如果我是试了 200 个特征才选出这 15 个,那么所有「样本外」的测试都会失效,因为它们已经被间接污染了。
这恰恰是王总那句「想法本身就是拟合」最深的一层:你连「哪些特征值得放进模型」这个决定,都已经用过测试数据了。
王总后来问我什么
这些图我发给王总之后,他回了一条语音,问了一个我没准备好的问题。
他说:「那你现在手里那个模型,你敢说自己讲的清楚吗?」
我想了2 天,答案是:敢讲清楚的部分大概70%,剩30%讲不清。
那70%是:我知道自己在用一个「热度反转」的结构,知道它主要吃的是成交额和波动率,知道它在小市值里更强,知道它在极端行情里会失灵。
那30%是:我说不清为什么是 20 日而不是 25 日,说不清为什么深度 3 比深度 2 好一点点,说不清为什么 2017 年它的表现特别差。
按照这篇文章的数据,那30%恰恰是最可能过拟合的部分。所以我的做法是:把剩下30%当成「随时可能消失的东西」,不给它太高的权重。
具体的做法很土:我不去优化那30%。该用 20 日就用 20 日,不去试 18、19、21、22;该深度 3 就深度 3,不去深挖为什么。因为你一旦开始优化你解释不了的部分,你就是在优化噪音。
这就是我对「取舍」这个词的最终理解:取舍不在「可解释」和「表现」之间,在「我懂的这一块」和「我不懂的这一块」之间。你要做的是让前者占的比重大一点,然后忍住不去碰后者。
最后一个技术观察,正好呼应这个想法:8 次独立训练,重要性排名波动最小的是「成交额变化」(波动 0),波动最大的是「20 日波动」(1.17 位)。
越重要的特征,模型越是稳定地用它;越靠边角的特征,模型每次挑的都不一样。这种「排名稳定性」本身就是一个可解释性指标:如果连模型自己都拿不定主意该用谁,那你也别拿它当结论。
CHAPTER 12
回到那杯茶
王总那个下午还问了我一句:「那你觉得机器学习这条路,值不值得走?」
我说值得,但理由可能跟他想的不一样。
机器学习最大的价值不是「找到更好的策略」。它最大的价值是「让你被迫诚实」。
手工做策略的时候,你可以一边看图一边改规则,改到自己满意为止,中间没有任何记录。而一旦你写代码跑模型,每一步都被固定下来了:多少个特征、多深的树、多少轮、用哪段数据。你想改,就得改代码;改代码,就得留痕。
这个「留痕」本身就是防过拟合的最大工具。因为大部分过拟合不是发生在模型里,是发生在人的记忆里:你忘了自己试过多少次。
所以我对这套东西的评价是:它不会让你变得更聪明,它会让你的愚蠢变得更可测量。
这听起来不像好话,但我觉得这是最高的评价。可测量的愚蠢,是可以修正的;不可测量的聪明,只能靠运气。
如果只记3 句话
整篇 42 张图,如果只能带走三句:
一、过拟合不是「搜得太多」,是「搜的东西里没有真货」。1500 个假信号里搜出来的冠军,样本外是负的;600 个真信号里搜出来的冠军,样本外比样本内还好。次数不决定一切,标的决定一切。
二、可解释性和样本外表现,在这份数据里同向。最能被线性复述的模型(还原 82.6%),样本外最好;最难复述的(还原 58.7%),样本外最差。讲不清的那部分,就是它在样本内偷学的部分。
三、讲不清就多跟踪,但要知道跟踪的代价。窗口 3 期最早发现、最容易被吓到;窗口 36 期最稳、最晚知情。用2 条线,短窗口报警不动作,长窗口转负才动手。
最后说回王总那句话。「只要是策略,都多少存在拟合,你的想法本身就是拟合。」
我的补充是:既然如此,那就别把「没有拟合」当成目标,因为那个目标不存在。把「知道自己在拟合什么」当成目标。
15 个想法等于四个半,这是一个可以测的数字。深度 12 的样本外掉到 0.079,这也是一个可以测的数字。把能测的都测出来,剩下测不到的那部分,交给时间和持仓管理。
茶凉了。他走的时候说下次带我去看看他们那边的真实运行环境。我说好,但我心里想的是:环境不重要,你只要肯把每一版的参数都记下来,就已经赢一半了。
最后,QMT躺平还有少量位置,需要100W以上,懂的私我哟~
本文所有数据来自公开指数日线,用python回算,属于历史统计整理,不构成对任何具体标的的判断,也不构成任何形式的操作指向;历史规律不保证未来重复,文中方法仅作研究记录。市场有波动,决策请独立判断并自行承担相应结果。
数据与方法说明:①样本为本地存储的全部标的日收盘价,交易日 2010 年 1 月 4 日至 2026 年 10 月 21 日共 4077 个,标的 4620 只。②每 20 个交易日取一期,共 191 期;每期取当日有有效价格且成交额大于阈值的标的,特征与标签均在期内做排名标准化。③15 个特征为:5 日 / 20 日 / 60 日 / 120 日 / 250 日涨跌幅,20 日 / 60 日 / 120 日回报标准差,相对 20 日 / 60 日 / 250 日均线的偏离,20 日平均振幅,20 日平均成交额的对数,20 日与 120 日成交额对数之差,与市场等权回报的 60 日相关系数。④标签为未来 20 个交易日涨跌幅,按期内排名标准化,极值裁剪在 -90% 至 500%。⑤切分为训练(前 60% 期)、验证(中间 20%)、测试(后 20%),三段不重叠;测试期只在最后被评估一次。⑥IC 为每期预测值与标签的秩相关系数,报告值为各期 IC 的算术平均。⑦梯度提升使用 LightGBM 4.6.0,200 棵树,学习率 0.05,每叶最少 200 样本,行采样与列采样均为 0.8,L2 正则 1.0,随机种子 42。⑧标签置换为每期内对标签做随机重排;噪声池为 1500 个随机权重线性组合信号在置换标签上评估。⑨双均线网格为快线 3 至 50 日、慢线 10 至 250 日的 86 个有效组合,信号为成分在特征空间上的线性组合。⑩有效想法数采用参与率 (Σλ)² ÷ Σλ² 计算,λ 为 15 个特征在训练期上的相关矩阵特征值。⑪线性近似 R² 用 15 个特征加常数项对模型输出做最小二乘拟合得到。⑫全部计算使用 Python 3.9 / numpy 1.26 / scikit-learn 1.6 / lightgbm 4.6,图形用 matplotlib 3.8 以 200 dpi 生成。
免责声明:本文所有观点为个人思考,读者据此所做的任何决定与行为,风险自担,与本文作者及本公众号无关。