1.2 LLM_GP:大语言模型增强遗传规划的奠基性框架
MIT团队在论文《Evolving Code with a Large Language Model》中提出了LLM_GP框架,发表于《Genetic Programming and Evolvable Machines》2024年第25卷。该工作提供了一种通用的LLM驱动遗传编程算法描述。论文指出,LLM_GP在算法结构上与传统GP一致,均包含初始化、评估、选择、变异、交叉、替换等进化算子。但其算子的设计与实现方式发生了根本性变化,它不再依赖表达式树的子树交换或节点替换,而是通过提示词(prompt)调用LLM,借助LLM的预训练模式匹配与序列补全能力来完成算子功能。
具体而言,LLM_GP将初始化、变异、交叉三个核心遗传算子交由LLM执行,个体的表示形式从表达式树转为纯文本代码。每个LLM算子均遵循构造提示词、调用LLM接口、检查响应格式的标准流程,通过提示工程将算子的功能目标以自然语言指令的形式传递给LLM,由其生成符合语法规范的新个体。以变异算子为例,论文设计了专门的提示模板,要求LLM在给定的基础算子集约束下,对输入的数学表达式进行语义层面的改写,并规定返回格式为结构化的JSON对象,经解析后生成新的个体进入种群。选择与替换算子同样基于LLM实现,前者由LLM根据适应度信息从种群中筛选优质亲本,后者由LLM对子代与父代进行综合排序后择优替换,从而将LLM的能力贯穿于整个演化流程。
论文在简单符号回归问题上进行了验证性实验。实验结果显示,基于LLM的遗传算子能够有效驱动种群进化,但代价显著:在gpt-3.5-turbo上运行30代的平均耗时约27分钟,成本约3.9美元。论文进一步指出,LLM_GP还面临诸多科学挑战,例如提示词敏感性、LLM版本更新导致的实验不可复现性、训练数据污染等问题,并提出了系统化的报告标准建议。尽管存在上述局限,LLM_GP首次系统性地验证了“用LLM替代GP遗传算子”这一技术路径的可行性,为后续LLEGO、CogAlpha、QuantaAlpha等工作提供了方法论基础。

1.3 LLEGO:语义引导的遗传算子增强框架
剑桥大学团队在发表于ICLR 2025的论文《Decision Tree Induction Through LLMs via Semantically-Aware Evolution》中提出了LLEGO(LLM-Enhanced Genetic Operators)框架。该工作与LLM_GP的核心区别在于:LLM_GP将LLM定位为遗传算子的执行者,即通过提示词让LLM完成变异、交叉等操作,但搜索方向仍缺乏明确引导;LLEGO则将LLM升级为语义引导者,通过设计可调控的遗传算子,将语义先验与领域知识系统性纳入搜索过程,使遗传编程的探索与开发行为具备可解释、可调控的工程属性。
论文的核心技术贡献在于两个新型遗传算子:
(1)适应度引导交叉(fitness-guided crossover),该算子在采样父代时采用轮盘赌机制,以与适应度成比例的概率选择高适应度个体参与繁殖。随后,系统根据父代集合计算目标适应度:
随后算法将该目标值嵌入提示词,引导LLM生成适应度不低于该目标的子代。其中超参数α控制外推强度:正的α值要求子代超越当前最优,实现定向开发;负的α值则使目标落在已知适应度区间内,保持保守搜索。
(2)多样性引导变异(diversity-guided mutation)。该算子首先生成多个候选子代,同时获取LLM对每个候选返回的对数概率(log-probability)。具体而言,LLM在生成每个候选子代时,会基于其预训练分布计算该序列的生成概率,该概率值反映了候选子代在当前先验分布下的合理程度。在此基础上,系统对每个候选子代计算其负对数概率S,该值越低表明候选公式在LLM的先验分布中越处于稀疏区域, 即结构上更为罕见。随后,系统通过softmax函数将这些负对数概率转化为采样权重:
最终从中选取λ个候选作为正式子代,其中超参数τ控制采样分布的陡峭程度:τ>1时分布趋于均匀,增加随机性;0
交叉与变异两个算子分别对应开发与探索两个维度,而α和τ则将探索与开发之间的平衡收归可调节的超参数,使LLM+GP系统的行为具备可量化的调控手段。
实验方面,论文在7个分类数据集与5个回归数据集上进行了验证,对比了CART、C4.5、DL8.5、GOSDT及传统GP基线GATree。结果表明LLEGO在多数任务上取得最优或次优表现,平均排名显著领先。搜索效率分析显示,LLEGO以更少的代数收敛至更优解,但种群多样性随搜索推进自然下降——这正是语义引导下搜索聚焦于高适应度区域的表现,而非缺陷。消融实验验证了适应度引导、多样性引导与高元数(arity)操作三者各自独立贡献于整体性能。论文还探讨了LLEGO在公平性正则化目标上的灵活性,展示了其在多目标优化场景中的适用性。LLEGO为后续将语义先验系统性纳入遗传搜索提供了可精细调控的算法范式。
1.4 AlphaJungle:基于LLM与MCTS的树搜索因子挖掘框架
清华大学团队在论文《Navigating the Alpha Jungle: An LLM-Powered MCTS Framework for Formulaic Factor Mining》中提出了AlphaJungle框架,发表于AAAI 2026。该工作跳出了传统遗传规划的种群演化范式,将因子挖掘建模为蒙特卡洛树搜索(MCTS)驱动的树形搜索过程。
与LLM_GP、LLEGO等基于遗传编程的工作不同,AlphaJungle不再依赖GP框架的种群代际等概念,而是将每个候选因子视为搜索树中的一个节点。LLM负责在节点上生成和精炼因子表达式,MCTS则利用回测结果作为量化反馈信号来引导搜索方向。
论文的核心技术贡献体现在以下几个方面:
第一,MCTS驱动的因子搜索。每个节点代表一个Alpha公式s,同时记录该因子在搜索过程中的改动与优化历史。每条边对应一次公式改进操作a,即选定一个待优化的评估维度,由LLM生成改进建议并据此产出一个新的候选公式。选择阶段采用UCT准则,自根节点起逐层贪心向下,在每层比较当前节点下所有候选动作的UCT值,选其最大者:
其中Q(s,a)为状态-动作对的历史最大奖励。具体而言,Q(s,a)记录的是以该边所到达的子节点为根的子树中,所有已评估节点曾取得的最大Alpha评分。当某个新节点被回测评估、得到评分S(f_new )后系统沿该节点至根节点的路径逐层回传,对路径上每条边执行如下更新:
这意味着,一旦某条分支的子树中出现了更高评分的因子,该信息会沿路径向上传递,使这条路径上所有祖先边的Q值同步提升,从而在后续选择中获得更高的优先级。因此,Q(s,a)反映的是该边对应子树状族谱的开发潜力——数值越高,说明沿此方向深挖越有可能找到优质因子。
UCT公式的第二项为探索项,其中Ns为父节点的访问次数,Ns'为子节点的访问次数,该项随子节点被访问次数减少而增大,从而鼓励搜索优先探索访问不足的分支,避免过早集中于少数路径。
第二,多维度评估与定向优化。每个节点关联一个多维评估得分向量Es=[e1,…,en],涵盖有效性、稳定性、换手率、多样性和过拟合风险五个维度。在扩展时,系统根据各维度得分与满分的差距,通过Softmax函数计算采样概率:
得分越低的维度被选中的概率越高,从而实现针对因子短板的定向优化。LLM首先针对选中维度生成改进建议,再将其转化为具体的Alpha公式。生成公式需通过语法验证,若无效则迭代修正。
第三,频繁子树规避机制(FSA)。 为防止生成的因子同质化,论文从有效Alpha库中挖掘频繁出现的子结构,并在生成提示词中明确要求LLM避免使用这些常见模式。该机制作为一种正则化手段,引导搜索向结构上更多样、更潜在新颖的区域探索。
实验方面,论文在CSI 300和CSI 1000两个股票池上进行了验证,预测目标为10日和30日收益率。对比基线包括GP、DSO、AlphaGen、AlphaForge、CoT、ToT、FAMA等。结果表明,AlphaJungle在IC、RankIC、AER和IR等指标上全面领先。同时,在可解释性评估中,其生成的公式排名第二,仅次于CoT方法,显著优于非LLM基线。消融实验进一步验证了MCTS、多维反馈和FSA各自的贡献。AlphaJungle为公式化Alpha挖掘提供了一种系统化的树搜索新范式。
1.5 CogAlpha:多智能体驱动的认知演化因子挖掘框架
香港大学与Grace Investment Machine团队在论文《Cognitive Alpha Mining via LLM-Driven Code-Based Evolution》中提出了CogAlpha框架,发表于ACL 2026主会。该工作与前述方法的核心区别在于:LLM_GP将LLM定位为遗传算子的执行者,LLEGO引入语义引导机制,AlphaJungle将因子挖掘建模为MCTS树搜索,QuantaAlpha在轨迹层面实施进化——而CogAlpha将因子挖掘重构为代码级多智能体认知演化系统,让LLM模拟人类研究团队的协作分工,而非仅充当单个算子的执行者。
论文的核心技术贡献体现在三个层面:
第一,代码级因子表示。 与传统方法的表达式树不同,CogAlpha将Alpha表示为可执行的Python代码。这一改动大幅扩展了因子的表达空间——不再受限于预定义的算子集,LLM可以直接编写带注释、带逻辑、可执行、可检查的因子程序。每个因子附带详细注释,解释其经济逻辑与计算步骤,显著提升了可解释性。
第二,七层21智能体层次化探索体系。 系统按量化研究的认知逻辑划分7个层次:市场结构与周期、极端风险与脆弱性、价量动态、价格波动行为、多尺度复杂性、稳定性与状态门控、几何与融合。每个层次配置2至4个专业化Agent,从不同视角并行生成候选因子。例如,价量动态层包含流动性Agent、订单失衡Agent、价量一致性Agent与成交量结构Agent,各自从不同角度捕捉价量互动中的预测信号。
第三,新鲜血液注入机制。 上述21个Agent并非仅在初始化阶段一次性使用,而是每2代重新激活并注入一批全新因子,直接进入父池参与筛选。该机制有效防止了变异与交叉循环导致的种群同质化,使搜索在“局部精炼”与“全局探索”之间保持平衡,是CogAlpha区别于LLM_GP单智能体静态生成范式的核心设计。
此外,论文设计了多智能体质量检查器,包含代码质量Agent、代码修复Agent、评判Agent与逻辑改进Agent,对生成代码进行语法校验、逻辑审查、运行时稳定性检测与信息泄露排查,确保进入演化流程的因子具备可执行性与经济合理性。
实验方面,论文在CSI300、CSI500、S&P500、HSI、HSCI五个数据集上进行了验证,主实验CSI300 10日预测任务上年化超额收益达16.39%,信息比率1.90,超越了包括AlphaJungle、AlphaAgent在内的21个基线方法。消融实验验证了自适应生成、多样化引导、七层Agent体系与思维进化四个组件各自的独立贡献。CogAlpha为LLM驱动的因子挖掘提供了一种从“模式复制”到“认知挖掘”的新范式。


1.6 QuantaAlpha:轨迹级演化的因子挖掘框架
上海财经大学与QuantaAlpha团队在论文《QuantaAlpha: An Evolutionary Framework for LLM-Driven Alpha Mining》中提出了QuantaAlpha框架(arXiv 2026)。该工作与前述方法的核心区别在于:LLM_GP、LLEGO、AlphaJungle、CogAlpha等方法均以Alpha公式为进化与搜索的核心对象——公式是“本体”,其他环节围绕公式展开。而QuantaAlpha则将Alpha背后的市场假设作为核心,因子表达式仅作为假设的载体与回测工具。这一范式转换意味着,进化的对象不再是因子表达式本身,而是其背后所承载的市场假设;优化目标亦从公式层面的拟合优度,转向经济逻辑层面的有效性。在这一理念下,论文将每一次完整的挖掘过程视为一条轨迹,其定义为从假设生成到因子构建、代码实现、回测诊断的有序序列τ=(s0,a0,s1,a1,…,sn),其质量由终端奖励 R(τ) 衡量。变异操作通过自反思定位失效环节,重写局部片段而保持其余部分不变;交叉操作则从高奖励父代轨迹中识别互补的高贡献片段,如假设模板、构造模式或修复行为,将其重组为新的子代轨迹。这使得进化过程具备可追溯的谱系与可复用的经验。
针对LLM直接生成因子易出现的语义漂移与因子拥挤问题,QuantaAlpha在生成阶段施加三重门控:一致性约束通过LLM验证假设、语义描述与符号表达式三者对齐,并确保符号定义与生成代码之间的忠实性;复杂度约束基于符号长度、自由参数数量与特征使用数量构造正则项,抑制过度复杂的表达式;冗余度约束基于抽象语法树的最大公共子树相似度检测结构冗余,并通过输出级相关性过滤剔除功能等价的因子。
此外,系统引入多样化规划初始化,从Alpha158(20)子集出发生成语义与结构互补的多个假设,扩大搜索前沿;同时引入编译层,当代码编译失败时由LLM基于报错信息修复,评估智能体将回测结果转化为结构化诊断报告,直接驱动下一轮假设修正。
实验方面,论文在CSI 300上使用GPT-5.2取得IC 0.0472、年化收益4.68%、最大回撤11.80%的表现。更重要的是,在CSI 300上挖掘的因子零样本迁移至CSI 500和S&P 500,四年累计超额收益分别达40.28%和19.1%,展示了框架在跨市场分布偏移下的鲁棒性。消融实验表明,多样化规划主要改善策略层面的稳定性,轨迹变异是探索与修复的核心驱动,轨迹交叉则负责复用已验证的高绩效片段。QuantaAlpha为高噪声、非平稳环境下的因子挖掘提供了一种以经济假设为核心、可追溯、可复用的轨迹级进化范式。
2 LLM-GP混合驱动因子挖掘框架
遗传规划凭借表达式树的交叉、变异与选择机制,在符号空间中实现了因子公式的系统性搜索,生成的表达式天然具备可计算性与可回测性。然而,其搜索过程缺乏语义导向,容易产生经济逻辑失范的无效表达式,且结构随迭代推进趋于臃肿。
大语言模型依托大规模金融语料预训练所内化的知识储备,能够从语义层面理解因子的经济逻辑。但其生成受限于预训练分布,易产生符合常见范式的同质化因子,且在大规模符号空间探索方面不及遗传规划。
两者在因子挖掘任务中呈现鲜明的功能互补特征——遗传规划保障搜索广度与因子多样性,大语言模型注入推理深度与语义方向。本章据此构建LLM-GP混合驱动框架,以gplearn为演化底座、LLM为认知算子,在初始化、变异与精英修剪三个关键环节分别嵌入LLM能力,力求在系统性搜索效率与认知推理合理性之间实现有机统一。
框架整体流程如下:父代种群经选择后,由交叉变异算子生成子代种群,子代经回测评估后进入下一轮循环。LLM在三个环节介入:初始化阶段,LLM按概率生成语义种子公式,与原生随机个体混合构成初始种群;变异阶段,LLM语义变异作为第五种算子与原生四种变异并行竞争;一轮演化结束后,TEDE模块对精英个体执行语义剪枝。三处改造的LLM介入强度与触发条件均可通过超参数调节,使框架在不同硬件资源与质量要求下具备工程适配性。
2.1 Ollama:本地化LLM部署方案
本框架的LLM调用基于Ollama实现。Ollama是基于llama.cpp的开源本地大语言模型部署工具,具备无需配置深度学习环境、跨平台支持、内置模型管理等特性。用户通过ollama run 即可一键下载并启动模型,同时Ollama开放兼容OpenAI格式的REST API接口,便于与上层应用集成。
本框架选择本地化部署而非云端API,主要基于四方面考量:
(1) 成本方面,云端API按输入与输出Token双重计费,而本框架在调用LLM时需附加较长的System Prompt以交代可用算子、语法规则与因子生成约束,单次调用的Token消耗显著高于常规问答场景。加之初始化、变异、精英修剪三阶段均需高频调用,累积成本不可忽视。本地部署仅需一次性硬件投入,后续调用边际成本趋近于零。
(2) 稳定性方面,因子挖掘的演化实验通常需持续运行数小时乃至数日,云端API依赖公网环境与第三方服务可用性,网络抖动、限流策略、超时重试等不可控因素均可能导致调用失败,进而中断整个演化流程。本地推理完全规避外部依赖,确保长时间迭代实验的持续稳定运行。
(3) 安全性方面,实际生产环境中的业务服务器通常部署于离线内网,不具备访问公网API的网络条件,本地部署是唯一可行的落地方案。同时,因子挖掘涉及行情数据、因子持仓等敏感信息,本地推理确保数据不出域,满足数据安全合规要求。需要说明的是,Ollama支持完全的离线部署与推理,仅在使用其云端模型服务或管理在线私有模型时才需登录,本地运行开源模型无需联网及认证。
(4) 并发能力方面,本框架在初始化、变异、精英修剪三阶段均涉及批量个体的并行处理。云端模型在实际调用中,多个请求同时抵达时可能产生服务端排队、超时乃至宕机现象,并发能力受限于供应商的资源调度策略,存在较大不确定性。Ollama通过OLLAMA_NUM_PARALLEL环境变量支持请求并发处理,并发度由本地硬件资源决定,控制权完全掌握在用户手中。
Ollama官方模型库涵盖当前主流开源大语言模型,支持一键拉取与本地部署,用户可根据硬件条件与因子挖掘任务需求灵活选型。以下列举可供本地化部署的代表性模型系列:
(1) Qwen系列:阿里巴巴通义千问家族,含Qwen 2.5及Qwen 3.5系列,中文金融语义理解优势显著。
(2) DeepSeek系列:深度求索推理模型,DeepSeek-R1擅长复杂逻辑推理,DeepSeek-V3为MoE架构(671B参数,激活37B),适用于高难度因子语义改造任务。
(3) Google Gemma系列:Google轻量级开源模型,Gemma 1-4系列,Apache-2.0协议对商业应用友好。
(4) Meta Llama系列:包含Llama 3.2(1B/3B)轻量高效版本与Llama 3.1(8B/70B/405B)通用模型,其中Llama 3.2的1B/3B版本对本地部署极为友好,可在低显存环境下运行。
在因子公式生成与语义改造任务中,模型需具备较强的代码生成与逻辑推理能力。参数规模方面,模型性能与参数量总体呈正相关,即更大规模的模型在语义理解的细腻度与代码生成的正确率上通常具有优势。但在本地化部署的工程约束下,参数量直接决定了显存占用与推理延迟,进而影响初始化与变异阶段的批量并发效率。综合考量任务需求与硬件成本,14B量级的模型已在因子公式生成任务中表现出一定的语法正确率与语义合理性,能够满足本框架对LLM调用质量的要求,若硬件条件允许,可进一步扩展至更大规模的模型以获得更强的推理能力。实际部署中还可通过Q4_K_M等量化版本压缩显存占用,在模型规模与推理效率之间取得平衡。
2.2 LLM-GP混合初始化:兼顾广度与深度
遗传规划的种群初始化通常采用完全随机生成策略。该方式的优势在于能够充分覆盖符号空间、保障种群多样性,但大量随机个体缺乏金融语义合理性:语法合法却无经济逻辑,需耗费若干世代方能淘汰,降低了演化效率。大语言模型生成的种子公式具备明确的语义指向和认知先验,能够显著提升初始个体的质量起点,但若完全依赖LLM则易受限于预训练分布,导致种群同质化。两者单独使用均存在局限:遗传规划有广度但缺深度,大语言模型有深度但缺广度。
本框架采用LLM-GP混合初始化策略,对每个待生成个体生成服从0-1均匀分布的随机数r,若r小于阈值θ 则调用LLM依据金融语义生成种子公式,否则沿用原生遗传规划随机生成。该策略兼顾了遗传规划的符号空间覆盖广度与大语言模型的金融语义引导深度,在保障种群多样性的同时注入认知先验,使演化起点从盲目搜索提升为有向搜索。阈值θ为可调超参数,用以控制LLM生成个体在初始种群中的占比,实际应用中可根据硬件条件与质量要求灵活调节。LLM生成的公式需经过语法校验,校验通过后方可进入种群;若校验失败则触发重试,超出重试上限后回退至原生随机生成路径,确保初始种群个体均为合法可执行的表达式。
为验证混合初始化策略的有效性,我们横向对比了三种初始化方式在相同演化条件下的表现:纯GP随机初始化、纯LLM初始化、LLM-GP混合初始化(θ=0.5)。实验采用除θ之外完全相同的参数设定,种群大小为1000。以下从四个维度汇报对比结果:
(1) 生成速率方面,纯GP最快,混合模式次之,纯LLM最慢。纯GP随机初始化几乎不产生额外开销;纯LLM初始化需调用LLM逐个生成种子公式,耗时显著增加;混合初始化耗时略低于纯LLM。混合策略以更少的时间成本同时获取了LLM的语义质量与GP的多样性,在效率与质量之间取得了更优的平衡。
(2) 因子覆盖度方面,纯LLM与混合模式表现相当,均显著优于纯GP。不当的算子组合可能导致因子在时间或股票维度上出现大量缺失值,造成覆盖度不足。我们通过统计时间维度与股票维度的双覆盖度数据,对任一覆盖度低于80%的因子标注为不合格。纯GP的合格率为90%,而纯LLM与混合模式均达到99%,混合模式与纯LLM在因子合格率上完全持平。这表明LLM生成的因子能够有效规避导致覆盖度不足的算子组合,从而提升了因子的整体可用性。
(3) 因子适应度方面,纯LLM优于混合模式,混合模式优于纯GP。通过计算因子与5日未来残差收益率的RankIC并取绝对值,我们统计了三种方式对应整个种群的平均数据:纯GP模式下种群平均适应度为1.1%,纯LLM模式为3.6%,混合模式为3.4%。混合模式与纯LLM模式在因子质量上基本持平,差距仅约0.2个百分点。
(4) 因子多样性方面,纯GP优于混合模式,混合模式优于纯LLM。我们提取了各种群适应度排名前10%的精英个体,计算其两两配对相关系数绝对值的算术平均值。纯GP模式下精英个体间平均绝对相关性为30.83%,表明种群多样性最为丰富;混合模式下相关性升至51.08%,纯LLM模式下则高达60.82%。混合模式与纯LLM相比显著更低,说明混合策略在引入LLM语义引导的同时,通过保留遗传规划随机生成路径有效维护了种群多样性。值得注意的是,种群的多样性程度并非固定不变,而是可通过超参数θ灵活调控。θ越大,LLM种子占比越高,语义引导越强,种群多样性相应降低;θ越小,随机个体占比越高,多样性则更充裕。
综合四个维度的对比结果,纯LLM虽在单因子质量上略占优势,但存在生成耗时较长与种群同质化严重的短板;纯GP多样性最佳,但因子质量显著偏低,演化起点过低导致收敛缓慢。混合策略有效吸收了两者的优点:一方面继承了LLM高质量种子的认知先验,显著加快了种群收敛速率,减少了无效搜索带来的算力浪费;另一方面保留了遗传规划随机个体的多样性供给,有效抑制了同质化倾向。四个维度的综合评估表明,混合策略在因子质量、生成效率、收敛速度与多样性之间取得了一定平衡,是三种方案中综合表现与工程性价比较高的初始化方案。
2.3 LLM-GP混合变异:语义逻辑与随机探索的兼顾
遗传规划的变异操作是维持种群多样性与探索新解空间的关键机制。gplearn原生提供四种变异方式:子树交叉、子树变异、点变异与提升变异,均基于纯符号操作,缺乏对因子语义层面的定向引导。本框架将基于LLM的语义变异作为第五种变异算子,与原生四种方式并列,在每轮演化中通过随机数决定采用何种变异方式,各变异方式的触发概率由超参数统一控制。
LLM变异算子的输入包含两个表达式:主公式与辅公式。两者均通过gplearn的锦标赛选择机制从当前种群中选出,皆为适应度较高的优质个体。LLM综合两者的结构与语义信息,判断辅公式中是否存在可被主公式借鉴的逻辑片段或可替换的子结构,输出融合两者优点的变异后新公式;亦可仅基于主公式进行独立变异。生成的新公式需通过语法校验,若校验失败则触发重试,超出重试上限后回退至原生变异路径。
该设计的核心优势在于:相较于纯GP变异,LLM变异将符号层面的随机节点替换升级为语义层面的定向改造,使变异结果具有明确的经济逻辑指向;相较于纯LLM生成,LLM变异以现有优质个体为基础进行迭代优化,后代起点更高,且仅作为五种变异方式之一并行存在,可通过超参数有效控制LLM对种群的影响权重,避免因子同质化。两者协同,实现了随机探索与语义精炼的分工互补。
为验证LLM语义变异算子的有效性,我们以同一混合初始化种群为父代,分别采用三种变异策略生成子代:纯GP原生变异、纯LLM变异、混合型变异。纯GP原生变异仅使用gplearn原生的四种变异方式;纯LLM变异将全部个体交由LLM进行语义改造;混合型变异将LLM语义变异作为第五种方式,与原生四种变异并行竞争。三种策略除变异概率超参数不同外,其他参数设定完全相同,其中混合型策略变异概率为前两者等权加权,各维度对比结果如下:
(1) 运行时间方面,纯GP最快,混合变异次之,纯LLM最慢。纯GP原生变异仅涉及符号操作,计算开销最低;纯LLM变异需对每个个体调用LLM进行语义改造,耗时显著增加;混合变异仅对约45%的个体调用LLM,运行时间较纯LLM缩短约35%。
(2) 因子覆盖度方面,三种变异策略的合格率均为97%,与父代持平。这表明三种策略均未损害因子的基础可用性,所有方案均能有效维持因子在时间维度与股票维度的双覆盖能力。
(3) 种群平均适应度方面,父代为1.1%,纯GP提升至4.4%,纯LLM提升至4.7%,混合变异达4.6%。混合变异与纯LLM在适应度上基本持平,差距仅0.1个百分点,说明仅以约一半的LLM调用量即可获得接近纯LLM全量调用的因子质量增益,边际效益显著。
(4) 个体最优适应度方面,父代为6.1%,纯GP为6.7%,纯LLM为7.1%,混合变异为6.9%。混合变异同样接近纯LLM水平,进一步验证了其在优质个体层面的有效性。
(5) 精英平均相关系数方面,父代为30.8%,纯GP为61.5%,混合变异为64.6%,纯LLM为67.0%。三者较父代均有明显上升,这是锦标赛选择驱动优质基因在种群中扩散的自然结果。混合变异的相关系数略高于纯GP,但显著低于纯LLM,表明其同质化倾向处于可接受范围内。
综合四个维度的对比结果,混合变异策略在因子质量上接近纯LLM水平,运行时间较纯LLM缩短约35%,且因子覆盖度与种群多样性方面亦无明显劣势。LLM语义变异作为第五种方式引入原生GP框架,是性价比较高的一种方案,在质量、效率与多样性三者之间取得了平衡,并且将LLM变异概率收归超参数控制,实现了LLM介入强度的按需调节,进一步提升了框架的工程适配性。
2.4 TEDE模块:基于LLM的精英修枝剪枝策略
TEDE出自论文《LLM-Assisted Semantic Pruning for Genetic Programming-Based Alpha Factor Discovery》,发表于Applied Sciences 2026年6月。该工作的定位并非提出全新的因子生成框架,而是针对遗传规划因子挖掘中一个被长期忽视的环节进行改进:表达式树的剪枝。其核心思路在于,将大语言模型从因子生成者转变为语义审查者,以完整的表达式上下文为背景,对候选子树进行数学冗余与金融合理性双重判断,并通过验证与回滚机制保障剪枝操作的安全性。这一设计不改变GP的演化逻辑,而是以极低的侵入性嵌入现有流程,为后续研究提供了一个可复用、可扩展的剪枝组件。
遗传规划在巨大公式空间中搜索最优表达式,其自由探索的特性也带来了两个相互关联的核心瓶颈:表达式膨胀与语义失范。表达式膨胀属于量的问题,表现为树深增加、节点增多、结构繁复,但适应度未获得相应比例的提升;语义失范则是质的问题,表现为语法完全正确、样本内IC表现良好,但表达式在金融逻辑上毫无意义。后者更为隐蔽,且难以通过数值或语法手段直接识别。
针对上述痛点,已有三类主流应对手段。简约性压力在适应度中加入树深惩罚,可抑制膨胀但易误伤有用结构,且无法甄别结构简洁但语义失范的表达式。代数简化通过预设重写规则清理冗余,如将x*1简化为x,但规则库需不断扩充,无法穷举所有潜在问题。数值/统计剪枝基于方差等统计指标判断子树贡献,仅能检测统计相关性,无法甄别统计显著但经济逻辑失范的表达式。三者在本质上均局限于语法结构与数值统计层面的筛查,缺乏对因子表达式金融语义的理解能力,这正是TEDE框架的切入点。
已有研究将LLM引入因子挖掘,路径主要为做加法,即生成新因子候选或指导变异。TEDE框架则形成互补,其定位为做减法,对已生成的表达式树进行语义审查与精简剪枝。LLM的独特价值在于,它能在完整表达式的上下文中理解子树的财务含义,而非仅统计数值效应或匹配代数结构。例如,识别close+volume 的量纲不一致,判断sin(sin(sin(x))) 为无意义嵌套,区分复杂但有经济逻辑的结构与复杂但纯属过拟合的结构。
TEDE通过触发锁靶、评估定性、决策验证、执行修复四阶段流水线,将LLM的语义理解嵌入GP进化循环。各阶段分工明确、层层递进:仅对触发候选的子树发起LLM审查以控制调用成本,剪枝建议须经IC验证确认有效后方可执行,无效建议自动回退,保障操作安全性。
第一,触发阶段,对表达式树进行扫描,标记存在冗余或语义缺陷的候选子树,锁定风险最集中的结构单元。本阶段定位为粗筛,以宁可误标、不可漏标为原则,尽可能多地召回可疑结构,交由后续LLM阶段做精细化判定。论文在触发阶段提出三类基础问题模式:结构冗余,包括恒等变换、嵌套相同函数、中性元素操作、自抵消表达式等存在等效简化形式的结构;常数化子树,指输出方差接近于零、实际表现为常量的子树,预测信息贡献有限;语义异常,包括量纲不一致、对非正数取对数、无金融含义的深度非线性组合等违反金融领域知识的构造。
在上述三类问题的基础上,本框架进一步新增两项判定规则。其一是常数项误用:常数项仅应作为量纲缩放、逻辑偏置或条件阈值,不应直接输入至时序函数或截面统计函数中。其二是覆盖度衰减:函数节点输入与输出的时间或股票覆盖度应保持接近,若输出覆盖度相对于输入出现显著衰减,表明该节点可能依赖极稀疏的数据条件,予以标记。
为提升LLM审查效率,触发阶段对每个节点统计其命中上述问题的类型与次数,每个表达式个体仅返回问题命中数量最多的子树索引,作为提交至评估阶段的唯一切入点,聚焦审查注意力于风险最集中的结构单元。工程层面,本框架改进了Program类的execute方法,在每次前向计算中同步记录各节点的输出截面标准差与输入输出覆盖度变化率,统计信息缓存在节点属性中,触发阶段直接读取,无需额外遍历,大幅降低了粗筛环节的计算开销。
第二,评估阶段,将候选子树提交LLM,LLM从数学冗余与财务合理性两个维度进行语义评分,输出结构化的JSON对象,包含推理依据、语义评分、信心得分与剪枝决策。评估结果作为决策阶段的输入。
第三,决策阶段,采用基于阈值的剪枝决策。语义评分低于阈值的子树将被剪枝,高于阈值的子树将被保留。阈值参数控制剪枝激进程度,较低值使剪枝更保守,较高值则更激进。同时,剪枝不得导致预测能力显著下降,否则回滚。
第四,执行阶段,本框架将原论文粗放式的整枝砍伐优化为精确手术。对于每个被判定为剪枝的候选子树,回溯该子树在触发阶段命中的一个或多个问题类型,从中随机抽取一项,匹配对应的精准修复方案:结构冗余类子树对节点进行Hoist变异;扁平子树将子树替换为随机常数项;量纲不一致类子树将子树中的部分叶替换为随机的同量纲变量;常数项误用类子树将常数项替换为随机变量;覆盖度问题类子树对子树的根节点进行点变异。
TEDE模块将LLM的语义理解能力嵌入GP进化循环,实现了对冗余与语义缺陷结构的精准识别与修复。各阶段分工明确、层层递进,在控制LLM调用成本的同时,通过验证回滚机制保障了剪枝操作的安全性。该模块作为本框架的第三个LLM介入点,与前文的混合初始化、混合变异共同构成了覆盖因子挖掘全流程的LLM增强体系。
3 因子挖掘参数与成果
在前述LLM-GP混合驱动框架的基础上,本章将其应用于A股市场,开展系统的因子挖掘实验,以验证框架在实际市场环境中的有效性。实验采用逐年滚动的方式,自2018年起每年年初回溯过去五年数据,执行若干轮次训练,并不断扩充因子库。以下首先介绍具体的参数设定,随后从因子公式、样本内外表现、因子间相关性以及多空对冲组合等多个维度展示挖掘成果。
3.1 参数设定
本框架的因子挖掘实验基本设定如下:
(1) 股票池与训练区间:全A股数据,剔除上市时间不足一年的股票,剔除ST与PT股票,剔除下一截面为停牌或涨停状态的股票。自2018年起,每年年初回溯过去5年数据,设定75%为训练集、25%为验证集,执行若干轮次训练,并在每年年初重复执行同样训练,以不断扩充因子集合。
(2) 适应度函数:多维评判机制。采用RankIC、RankICIR、多空信息比率以及多空收益回撤比。在每轮并行计算结束后,计算各维度评分在当前种群中的排名并取平均值。
(3) 输入特征:基础日频价量数据,包括high、open、low、close、volume、amount、vwap以及mkt_value。
(4) 预测目标:残差收益率。提取5日收益率,剔除异常值后,在截面上进行分位数1%的缩尾处理,再与市值、一级行业作回归后取残差。该设计旨在训练出不依赖市值行业的Pure Alpha。
其余主要参数见下方图表:
主要算子库详见下方图表:
其他参数与机制设定如下:
(1) LLM配置:借助Ollama本地化部署qwen2.5-coder模型,初始化、变异、精英剪枝的温度参数分别为0.3、0.3、0.0,生成个体或执行变异的最大重复次数为5次,超出后回退至传统GP的初始化或变异模式。
(2) 精英剪枝相关参数:触发阶段,若节点返回值平均截面标准差小于1e-3则标记为可疑,节点股票或时间覆盖度衰减大于20%则标记为可疑;决策阶段,建议修剪得分小于0.3且信心得分大于0.6才执行修剪;执行阶段,新因子的适应度最多不得低于原因子0.01,否则回滚。
(3) 因子质量监控:时间维度与股票维度覆盖度双控制,不得低于80%,否则剔除不达标的个体。
(4) 同质化监控与修剪:计算整个hall_of_fame两两个体间相关系数,若平均值超出80%,则认为整个种群大量走向近亲繁殖,触发早停,结束训练;同时逐步剔除相关性过大的个体(超过80%),最大剔除个数为整个hall_of_fame大小的20%。
(5) 滚动入库机制:在每年的因子挖掘结束后,盘点该年度挖掘出的优秀因子,并设定一定的入库门槛,逐步扩张因子库。门槛包括:与现有因子群两两相关系数不超过65%;历史IC、IR、多空信息比率须不低于一定阈值;近几年IC、IR、多空信息比率须不低于一定阈值。
3.2 挖掘成果展示
自2018年起,每年年初回溯过去五年数据执行若干轮次因子挖掘,并将优秀因子逐步纳入因子库。经过持续扩充,目前因子库中已积累了一批覆盖不同样本内区间的有效因子。下表展示了其中20个代表性因子的名称、样本内区间及对应的因子表达式。
我们对上述因子进行统一的后处理与绩效统计。具体而言,对因子值进行去极值处理,剔除ST、*ST、PT以及上市不满一年的股票,并进行行业与市值中性化。在此基础上,统计各因子的Rank IC、Rank ICIR以及10档多空对冲组合表现。全历史统计区间为2013年1月1日至2026年7月31日,近三年统计区间为2023年7月31日至2026年7月31日。下表汇报了20个代表性因子的详细绩效指标,涵盖全历史与近三年的IC、IR、多空年化收益率、最大回撤及多空信息比率,以及全历史累积5日RankIC走势。
我们统计了20个因子在全历史区间(2013年1月至2026年7月) 的年度5日RankIC均值,并按其各自样本内/外的时间划分分别汇总。从数据看,各因子在样本外整体延续了正向预测能力,但不同因子间的稳定性存在明显分化。我们统计了每个因子样本外相对样本内的IC衰减幅度。20个因子的衰减幅度中位数为0.75%,平均值为0.84%,样本外整体存在轻微衰减,但幅度有限。
部分因子在样本外反而表现更优,例如 llmgp012 和 llmgp018,其样本外IC均值高于样本内,表明这些因子的预测逻辑在更长时间维度上依然有效。而更早期挖掘的因子llmgp001和llmgp003的衰减相对明显,分别从8.19%降至5.54%、9.20%降至7.74%,说明市场状态、交易逻辑变化影响了其有效性。
为评估因子群的共线性风险,我们计算了全历史区间内所有因子两两之间的秩相关系数并取绝对值。结果表明,得益于进化过程中的早停机制与入库时的相关系数阈值约束,因子群整体呈现出较低的多重共线性,因子间冗余度控制在合理范围内。下表汇报了20个因子两两之间的秩相关系数绝对值矩阵,对角线为100%,非对角线元素大多位于20%至60%区间,最高值未超过65%,表明因子间不存在严重的线性依赖,因子库整体具备良好的分散化特征。
我们将分析窗口统一为所有因子样本外的交集区间,即2023年1月1日至2026年7月31日,在此区间内计算各因子1-10档多空对冲组合的业绩表现。从结果看,20个因子在样本外均展现出较为优秀的多空区分能力。下表详细汇报了各因子的多空组合业绩指标。从年化收益率来看,20个因子的多空组合年化收益率均在34%以上,其中llmgp_003、llmgp_020、llmgp_001等因子超过95%;信息比率均在2.7以上,llmgp_010、llmgp_005、llmgp_014等因子超过3.8;卡玛比率多数超过5,llmgp_014、llmgp_010、llmgp_001等因子超过11。
4 总结与展望
本报告围绕LLM增强遗传规划的因子挖掘方法展开系统研究。在方法论层面,报告首先梳理了LLM在因子挖掘领域的前沿进展,重点介绍了LLM_GP、LLEGO、AlphaJungle、CogAlpha与QuantaAlpha五篇代表性工作,明确了LLM与遗传规划在因子挖掘任务中的功能互补关系。在此基础上,本报告以LLM_GP框架为核心实现对象,构建了LLM-GP混合驱动因子挖掘系统,并在其原始框架基础上进行了三项面向因子挖掘实务的适应性改造。第一,在初始化阶段引入LLM-GP混合策略,通过超参数控制LLM生成个体在初始种群中的占比,兼顾语义先验注入与种群多样性维护。第二,在变异阶段将LLM语义变异作为第五种变异算子与原生四种变异方式并行竞争,以超参数调节LLM介入强度。第三,在一轮演化结束后引入TEDE四阶段语义剪枝机制,对精英个体的表达式树进行数学冗余与金融合理性审查,在保持预测能力的前提下压缩因子复杂度。上述改造均以超参数为控制手段,保持了框架的工程可调节性,使其更适配实际因子挖掘场景中对质量、效率与多样性的多目标要求。
在实证层面,本报告基于A股市场数据进行了逐年滚动因子挖掘实验,并对挖掘出的20个代表性因子进行了系统的绩效评估。结果表明,LLM-GP混合驱动框架能够稳定产出具备时序泛化能力的有效因子,因子群整体覆盖多维信息且共线性较低,多空对冲组合在样本外区间内展现出良好的区分能力与风险调整后收益。混合初始化与混合变异策略在因子质量、生成效率与种群多样性之间取得了有效平衡,TEDE模块在压缩表达式复杂度的同时保持了预测性能。上述结果验证了本报告所构建框架在因子挖掘实务中的有效性,为LLM增强遗传规划的实用化落地提供了可借鉴的技术方案。
在完成LLM_GP框架实现与适应性改造的基础上,后续研究可从以下几个层面逐步推进:
(1) 逐步复现其余代表性框架并开展横向评测。本报告在第一章系统梳理了LLEGO、AlphaJungle、CogAlpha与QuantaAlpha四篇代表性工作。后续可在统一的数据集、股票池、适应度函数与回测框架下,逐一复现上述研究,从因子质量、生成效率、种群多样性、可解释性等多个维度进行系统性的横向对比。通过控制变量与消融实验,明确不同技术路线在因子挖掘任务中的优势边界与适用场景,为后续框架选型提供实证依据。
(2) 引入多样性引导机制与多维度定向优化。 LLEGO提出的多样性引导变异机制,通过负对数概率强制LLM探索其自身最不擅长的罕见结构,可有效对抗同质化倾向。AlphaJungle与CogAlpha则从多个维度综合评判因子质量,并对薄弱维度进行定向优化。后续可将上述机制引入本框架的初始化与变异环节,在LLM生成时显式约束输出分布,避免因子过度集中于预训练分布的稠密区域;同时将因子评估从单一适应度扩展至有效性、稳定性、换手率、多样性等多维度,由LLM识别因子在特定维度上的短板并进行定向修复。
(3) 探索脱离遗传规划框架的新型搜索范式。 当前已有多种工作不再依赖GP的种群演化逻辑。AlphaJungle将因子挖掘建模为蒙特卡洛树搜索过程,CogAlpha通过多智能体协作实现代码级演化,QuantaAlpha则在轨迹层面实施变异与交叉。强化学习路线亦提供了区别于随机演化与自然选择的替代方案,通过奖励信号驱动智能体在符号空间中进行有向搜索。后续可参考上述工作的核心思路,构建脱离GP框架约束的新型因子挖掘系统,并在统一基准下与传统GP方法进行效率与质量的对比。
(4) 构建多智能体协作的全流程自动化框架。本报告在三个环节嵌入了LLM能力,但仍以LLM直接交互为主。后续可引入多Agent体系,将因子挖掘任务拆解为假设生成、因子构造、代码实现、回测验证、诊断反馈等子任务,由不同角色Agent分工协作,形成从研究假设到因子入库的完整自动化流水线。在此基础上,可进一步探索知识沉淀与Skill复用机制,将挖掘过程中积累的成功模板、修复策略与评估经验封装为可复用模块,使后续挖掘任务能够基于已有知识进行迁移学习,而非每次从零开始。
(5) 拓展因子多源数据融合能力。当前框架主要基于日频价量数据,后续可扩展至高频数据、基本面数据、新闻情绪、宏观指标等多源信息,让LLM在更丰富的特征空间中挖掘因子,提升因子库的多样性与增量信息含量。
综上所述,后续工作将沿着横向评测、机制引入、范式拓展、多智能体协作、多源数据等方向逐步推进,持续提升因子挖掘系统的自动化水平、因子质量与可解释性,为量化投资实务提供更加稳健与高效的因子供给能力。
5 风险提示
本报告基于历史数据分析,历史规律未来可能存在失效的风险;市场可能发生超预期变化;各驱动因子受环境影响可能存在阶段性失效的风险。