一、机器学习表格任务特征自动生成的6个代表工作 表格任务(机器学习)中特征工程对模型性能至关重要,这个可以分开去看看有哪些模型,这里讲6个,分成两类:
一类是传统AutoFE(OpenFE、AutoFeat等) :纯数据驱动,依靠预定义数学变换、聚合操作生成特征,不理解特征语义,无法生成需要领域概念的业务特征, 在金融、医疗等监管场景不适用,这个是不用大模型来做 。
1、
OpenFE 《OpenFE:Automated Feature Generation with Expert-level Performance》(https://arxiv.org/abs/2211.12507,https://github.com/IIIS-Li-Group/OpenFE),架构如下:
1)输入:训练数据 (X,y) 和任务类型(二分类/多分类/回归)。它采用有监督方式,每一轮都要用到标签。
2)整体框架采用expand-and-reduce方式,步骤如下:
step1.扩张 :以当前特征集 T 为基,用算子枚举出候选池 A(T) ,包括:一元算子:log、sigmoid、square、freq等;二元算子: +−×÷minmax ,以及关键的一个, GroupByThenMean (按ID分组后取均值,专门处理“用户多笔交易”这类关系型数据);候选数量约为 O(d·m²) ,其中d是二元算子个数,m是特征数;特征有几百个时,候选就是百万级;
step2.FeatureBoost(快速增量评估) :这一步是核心。标准做法是“把候选加进去重训模型看分数”,这在百万候选上不可行。OpenFE改为用当前模型已产生的预测ŷ,以梯度方式估算每个候选能带来的损失下降Δ;无需重训,只算一遍,并利用 (T+T') 结构加速收敛;
step3.两阶段剪枝 :第一阶段用successive halving:把数据分块,用 2^i 个随机子集粗筛,每轮淘汰一半;第二阶段在完整数据上训练LightGBM,用MDI(gain)重要性给剩下的候选排序;step4.每轮只取top-k加进 T ,然后回到第1步继续扩张。退出条件是候选的Δ全部≤0,或预算耗尽。
3)输出 :最终特征集(含可读公式)+用这些特征训好的LightGBM模型,可以 transform 出特征矩阵给别的模型用。
这种方案全程用标签驱动筛选,如果验证集反复参与决策,就会产生选择偏差。它假设特征值可计算、可分组,文本和长尾类别基本没法处理。
2、AutoFeat 《The auto feat Python Library for Automated Feature Engineering and Selection》(https://arxiv.org/abs/1901.07329)。
1)输入 :数值型表格
(X,y) ,分类变量先做one-hot。它主要为线性模型服务。
2)中间步骤
step1.组合扩张 (1–3步, feateng_steps ):一元变换: log(x),√x,1/x,x²,x³,|x|,exp(x),2^x,sin(x),cos(x) ;二元运算: +−×÷ ;每一步对当前全部特征再做一次变换,特征数指数增长,用 max_gb 内存上限截断;
step2.去重与清洗 :删常量列、删重复列;
step3.多步稀疏选择 (这是它真正的贡献):噪声过滤:额外造一批噪声特征(打乱原数据或服从正态分布),用L1模型拟合;只有系数绝对值大于所有噪声特征最大系数的特征才留下;分块选择:先用L1选出初始集,剩下特征切成若干块(每块
step4.用这些特征训线性模型 (回归用LassoLars,分类用L1逻辑回归),系数即解释。
3)输出 :几十个特征(从几千个候选里筛出)+线性模型+用sympy化简过的符号公式(比如 x1/x2 );也可以只导出特征矩阵喂给其他模型。
这种方式会有一些限制,例如: 步数上去会过拟合,论文报告三步时train/testR²差距明显,本质是“给线性模型补非线性能力”,树模型上收益有限,只处理数值特征,没有分组聚合能力 ;
另一类是 LLM驱动的AutoFE(CAAFE、FeatLLM、LLM‑FE、KnowFeat) :利用大模型语义能力生成有业务含义特征,这个细分看下:
3、CAAFE 《Large Language Models for Automated Data Science:Introducing CAAFE for Context-Aware Automated Feature Engineering》(https://arxiv.org/abs/2305.03403,https://github.com/noahho/CAAFE,https://colab.research.google.com/drive/1mCA8xOAJZ4MaB_alZvyARTMjhl6RZf0a,https://priorlabs.ai),实现架构如下:
1)输入 :拼成一个大prompt,包括:用户写的数据集领域描述(可缺省);特征名、数据类型、缺失率(只用train统计);10行随机样本(让模型知道取值尺度和编码);代码模板+chain-of-thought指令(先说明特征含义与用处→列出用到的列→取出样例值→再写代码)
2)中间步骤,如下几个:
step1 .进入循环,共10轮迭代;
step2.LLM输出一段Python (在已载入的 df_train / df_valid 上执行),每列附注释:特征名、用处、依赖列、样例值;
step3.执行前做语法解析+操作白名单 (禁import、禁任意函数调用)。报错则把错误信息带进下一轮;
step4.用TabPFN在10次随机validation切分上评测 :只有 mean(ΔACC) 与 mean(ΔAUC) 的平均>0,才保留这次修改;否则回滚;
step5.保留时把变换后的数据作为下一轮的输入基准 。
3)输出 :增强后的DataFrame+完整Python代码+每个特征一句“为什么有用”的说明。最终评估是另做50/50切分、5个随机种子。
4、FeatLLM 《Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning》(https://arxiv.org/abs/2404.09491,https://github.com/Sungwon-Han/FeatLLM),架构图下:
1)输入 。包括:特征名+类型+每个特征的简短描述;任务描述;每类8个带标签样本(few-shot的核心设定)。
2)中间步骤
step1.两段式推理prompt :第一步让LLM不看样本、只凭常识推断特征与标签的因果倾向;第二步再结合示例,为每个类别产出10条规则;
step2.规则格式被严格约束 :类别型只能写“ 特征 isin [类别列表] ”,数值型只能写“ 特征 >/
step3.第二次LLM调用把自然语言规则翻译成Python函数 (这是为了处理“greaterthan”之类的同义噪声),再用 exec() 执行,得到每类的0/1矩阵 z_ik∈{0,1}^R ;
step4.逐类训练无偏置线性模型 ,权重取 max(w,0) ,再softmax成类概率。训练只用那8个样本;
step5.Bagging集成 :整个流程重复T次,每次随机抽特征子集/样本子集、打乱示例顺序、 temperature>0 提高多样性,最后对概率取平均。
3)输出 :一组规则(自然语言+代码)+每类二值特征+线性权重。推理时不再调LLM。
需要注意的是: 这种方法不做任何单规则筛选,规则冗余、恒为常量、互相矛盾都直接进模型,只靠后面的线性权重把没用的压到0 。
5、LLM-FE 《LLM-FE:Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers》(https://arxiv.org/abs/2503.14434,https://github.com/nikhilsab/LLMFE),架构如下:
1)输入 。包括:任务说明+元数据(特征名、特征描述、目标);10条序列化样本( Ifc1isx1,...,ThenResultisy );评估函数的说明(让LLM知道“什么叫好特征”);上一轮top-k表现最好的特征变换程序作为in-context示例。
2)中间步骤 :
step1.初始化种群缓冲 (含一个简单的初始变换程序),分m个island并行进化;
step2.每轮从某个island取top-k程序拼prompt ,让LLM一次生成b个候选程序(温度0.8保证多样性);
step3.执行候选,报错或超时的直接丢弃 ;
step4.每个程序造特征→在 X_tr 上训下游模型→在 X_val 上打分,作为fitness ;
step5.程序+分数写入 ,作为下一轮的示例;保留全局最优 T* ;
3)输出 :最优特征变换程序 T* (即代码)+每代分数。下游默认XGBoost,也可以选择TabPFN和MLP
但是,这些方案存在一些问题:
其一, 缺少结构化领域知识 。依赖模型内置参数知识,专业领域(反洗钱)知识陈旧或缺失,没有将监管指标、检测规则、专家意见、司法证据组织成结构化知识库注入生成流程;
其二, 特征验证流程薄弱 :或使用简单代理模型,或直接使用下游准确率,缺少语法执行、统计质量、模型效果的多层过滤,大量语法合法但冗余、无效、损害模型效果的特征流入训练集。
其三, 可解释溯源缺失 :监管行业需要知道特征产生依据,现有方法无法将每一个特征和对应的知识来源做可审计的溯源记录。
因此,可以看:
6、KnowFeat 《 KnowFeat:Knowledge‑Guided Feature Engineering via LLM Agents 》(https://arxiv.org/abs/2609.03529,https://github.com/youchengsong/large-llm-create-feature,https://huggingface.co/datasets/anonymous-7219/knowfeat),架构如下:
其本质上是基于Agent、知识引导的表格数据自动特征工程框架,面向金融反洗钱等强监管领域,解决 现有LLM自动特征工程缺少结构化领域知识、特征校验不足、缺少可审计溯源的痛点 。在自动特征工程流程中额外加了两个环节,并让LLM对外提供可审计的依据,路线就是:
展开的路线就是 L1特征生成->L2阈值校准->L3特征选择 三个步骤:
具体变化上:
一个是在prompt中放入结构化的领域知识,让模型不只是凭空考虑列名,搞成5类知识:
一个是每一轮都设置三道逐步更严格的检查,只有通过全部检查的特征才允许进入训练集。
然后,存在特征漏斗,例如,SimECNY上52个候选特征的逐级过滤,事后选择后只剩4个特征。
一个是每个特征都会附带一张“来源说明卡”,记录它参考了哪条法规、哪条规则、哪份判例,以及如何通过验证,即: 知识条目ID、推理链、从原始字段到特征值的计算步骤、L1到L3的验证结果(含IV、KS、冗余与ΔAUC或ΔRecall) ,这个给两个例子:
fan_in_fan_out_ratio :融合RULE006、RULE013、PATA03、IND15,计算扇入与扇出模式占比之比,再乘以(1+异常模式占比)。L2为IV=0.34(阈值>0.02)、KS=0.28(阈值>0.05)、最大相关0.41(<0.7)、缺失0%;L3为ΔRecall=+0.38%、精确率97.2%,接受;
high_risk_region_off_hour_ratio :把边境地区二值指示与夜间交易占比相乘,依据RULE005/014、IND08/09与EXP05"单独任一信号都不足以判定"。L3为ΔRecall=+0.21%、精确率96.8%,接受。
这六个工作打完, 其实雏形有了,难在验证 。
二、关于我们 老刘说NLP技术社区,自2022年建立以来,以公正、客观的角度,围绕知识图谱本体论+RAG知识库+Agent智能体三个方向做深入跟进,加入方式在:https://mp.weixin.qq.com/s/_sEWHeV20sN1JcwGJU9tJw