社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

深夜阅读:机器学习任务特征自动生成的6个代表工作解析

老刘说NLP • 5 小时前 • 13 次点击  

今天是2026年11月22日,星期日,北京,天气晴。

继续看技术,看大模型做机器学习特征工程生成的话题。

例如,《2020 State of Data Science》(https://www.anaconda.com/resources/whitepaper/state-of-data-science-2020)调查了2360名从业者,结论是:平均45%的工作时间花在“把数据准备好”(加载+清洗)上,所以,怎么用大模型来加速这块,很重要。

更往下一层,就是怎么自动构造特征,这个很依赖于业务,因此呢,这块就有了多个不同的工作,包括LLM驱动的AutoFE(CAAFE、FeatLLM、LLM‑FE、KnowFeat),以及不用LLM的AutoFE(OpenFE、AutoFeat),一共是6个工作,对比如下:

但是,需要注意的是,但这些方法未必减少总人力,只是转移了劳动形态:CAAFE需要人写数据集描述、检查生成的代码;FeatLLM需要人挑few-shot样本;KnowFeat需要人整理309份判决书(论文自述约2人天),并且每个特征还要审15–30分钟。换句话说,成本从“从零构思特征”搬到了“审查特征+养知识库”。

因此,你会发现,任何加速,其实都不意味某种东西消亡,它只是会转移,能量总是守衡的。

这是个很有趣的方向,可以看下具体咋做的,做个记录。

一、机器学习表格任务特征自动生成的6个代表工作

表格任务(机器学习)中特征工程对模型性能至关重要,这个可以分开去看看有哪些模型,这里讲6个,分成两类:

一类是传统AutoFE(OpenFE、AutoFeat等):纯数据驱动,依靠预定义数学变换、聚合操作生成特征,不理解特征语义,无法生成需要领域概念的业务特征,在金融、医疗等监管场景不适用,这个是不用大模型来做。

1、 OpenFE《OpenFE:Automated Feature Generation with Expert-level Performance》(https://arxiv.org/abs/2211.12507,https://github.com/IIIS-Li-Group/OpenFE),架构如下:

1)输入:训练数据(X,y)和任务类型(二分类/多分类/回归)。它采用有监督方式,每一轮都要用到标签。

2)整体框架采用expand-and-reduce方式,步骤如下:

step1.扩张:以当前特征集T为基,用算子枚举出候选池A(T),包括:一元算子:log、sigmoid、square、freq等;二元算子:+−×÷minmax,以及关键的一个,GroupByThenMean(按ID分组后取均值,专门处理“用户多笔交易”这类关系型数据);候选数量约为O(d·m²),其中d是二元算子个数,m是特征数;特征有几百个时,候选就是百万级;

step2.FeatureBoost(快速增量评估):这一步是核心。标准做法是“把候选加进去重训模型看分数”,这在百万候选上不可行。OpenFE改为用当前模型已产生的预测ŷ,以梯度方式估算每个候选能带来的损失下降Δ;无需重训,只算一遍,并利用(T+T')结构加速收敛;

step3.两阶段剪枝:第一阶段用successive halving:把数据分块,用2^i个随机子集粗筛,每轮淘汰一半;第二阶段在完整数据上训练LightGBM,用MDI(gain)重要性给剩下的候选排序;step4.每轮只取top-k加进T,然后回到第1步继续扩张。退出条件是候选的Δ全部≤0,或预算耗尽。

3)输出:最终特征集(含可读公式)+用这些特征训好的LightGBM模型,可以transform出特征矩阵给别的模型用。

这种方案全程用标签驱动筛选,如果验证集反复参与决策,就会产生选择偏差。它假设特征值可计算、可分组,文本和长尾类别基本没法处理。

2、AutoFeat《The auto feat Python Library for Automated Feature Engineering and Selection》(https://arxiv.org/abs/1901.07329)。

1)输入:数值型表格 (X,y),分类变量先做one-hot。它主要为线性模型服务。

2)中间步骤

step1.组合扩张(1–3步,feateng_steps):一元变换:log(x),√x,1/x,x²,x³,|x|,exp(x),2^x,sin(x),cos(x);二元运算:+−×÷;每一步对当前全部特征再做一次变换,特征数指数增长,用max_gb内存上限截断;

step2.去重与清洗:删常量列、删重复列;

step3.多步稀疏选择(这是它真正的贡献):噪声过滤:额外造一批噪声特征(打乱原数据或服从正态分布),用L1模型拟合;只有系数绝对值大于所有噪声特征最大系数的特征才留下;分块选择:先用L1选出初始集,剩下特征切成若干块(每块

step4.用这些特征训线性模型(回归用LassoLars,分类用L1逻辑回归),系数即解释。

3)输出:几十个特征(从几千个候选里筛出)+线性模型+用sympy化简过的符号公式(比如x1/x2);也可以只导出特征矩阵喂给其他模型。

这种方式会有一些限制,例如:步数上去会过拟合,论文报告三步时train/testR²差距明显,本质是“给线性模型补非线性能力”,树模型上收益有限,只处理数值特征,没有分组聚合能力;

另一类是LLM驱动的AutoFE(CAAFE、FeatLLM、LLM‑FE、KnowFeat):利用大模型语义能力生成有业务含义特征,这个细分看下:

3、CAAFE《Large Language Models for Automated Data Science:Introducing CAAFE for Context-Aware Automated Feature Engineering》(https://arxiv.org/abs/2305.03403,https://github.com/noahho/CAAFE,https://colab.research.google.com/drive/1mCA8xOAJZ4MaB_alZvyARTMjhl6RZf0a,https://priorlabs.ai),实现架构如下:

1)输入:拼成一个大prompt,包括:用户写的数据集领域描述(可缺省);特征名、数据类型、缺失率(只用train统计);10行随机样本(让模型知道取值尺度和编码);代码模板+chain-of-thought指令(先说明特征含义与用处→列出用到的列→取出样例值→再写代码)

2)中间步骤,如下几个:

step1.进入循环,共10轮迭代;

step2.LLM输出一段Python(在已载入的df_train/df_valid上执行),每列附注释:特征名、用处、依赖列、样例值;

step3.执行前做语法解析+操作白名单(禁import、禁任意函数调用)。报错则把错误信息带进下一轮;

step4.用TabPFN在10次随机validation切分上评测:只有mean(ΔACC)与mean(ΔAUC)的平均>0,才保留这次修改;否则回滚;

step5.保留时把变换后的数据作为下一轮的输入基准。

3)输出:增强后的DataFrame+完整Python代码+每个特征一句“为什么有用”的说明。最终评估是另做50/50切分、5个随机种子。

4、FeatLLM《Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning》(https://arxiv.org/abs/2404.09491,https://github.com/Sungwon-Han/FeatLLM),架构图下:

1)输入。包括:特征名+类型+每个特征的简短描述;任务描述;每类8个带标签样本(few-shot的核心设定)。

2)中间步骤

step1.两段式推理prompt:第一步让LLM不看样本、只凭常识推断特征与标签的因果倾向;第二步再结合示例,为每个类别产出10条规则;

step2.规则格式被严格约束:类别型只能写“特征isin[类别列表]”,数值型只能写“特征>/

step3.第二次LLM调用把自然语言规则翻译成Python函数(这是为了处理“greaterthan”之类的同义噪声),再用exec()执行,得到每类的0/1矩阵z_ik∈{0,1}^R;

step4.逐类训练无偏置线性模型,权重取max(w,0),再softmax成类概率。训练只用那8个样本;

step5.Bagging集成:整个流程重复T次,每次随机抽特征子集/样本子集、打乱示例顺序、temperature>0提高多样性,最后对概率取平均。

3)输出:一组规则(自然语言+代码)+每类二值特征+线性权重。推理时不再调LLM。

需要注意的是:这种方法不做任何单规则筛选,规则冗余、恒为常量、互相矛盾都直接进模型,只靠后面的线性权重把没用的压到0。

5、LLM-FE《LLM-FE:Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers》(https://arxiv.org/abs/2503.14434,https://github.com/nikhilsab/LLMFE),架构如下:

1)输入。包括:任务说明+元数据(特征名、特征描述、目标);10条序列化样本(Ifc1isx1,...,ThenResultisy);评估函数的说明(让LLM知道“什么叫好特征”);上一轮top-k表现最好的特征变换程序作为in-context示例。

2)中间步骤:

step1.初始化种群缓冲(含一个简单的初始变换程序),分m个island并行进化;

step2.每轮从某个island取top-k程序拼prompt,让LLM一次生成b个候选程序(温度0.8保证多样性);

step3.执行候选,报错或超时的直接丢弃;

step4.每个程序造特征→在X_tr上训下游模型→在X_val上打分,作为fitness;

step5.程序+分数写入,作为下一轮的示例;保留全局最优T*;

3)输出:最优特征变换程序T*(即代码)+每代分数。下游默认XGBoost,也可以选择TabPFN和MLP

但是,这些方案存在一些问题:

其一,缺少结构化领域知识。依赖模型内置参数知识,专业领域(反洗钱)知识陈旧或缺失,没有将监管指标、检测规则、专家意见、司法证据组织成结构化知识库注入生成流程;

其二,特征验证流程薄弱:或使用简单代理模型,或直接使用下游准确率,缺少语法执行、统计质量、模型效果的多层过滤,大量语法合法但冗余、无效、损害模型效果的特征流入训练集。

其三,可解释溯源缺失:监管行业需要知道特征产生依据,现有方法无法将每一个特征和对应的知识来源做可审计的溯源记录。

因此,可以看:

6、KnowFeat《KnowFeat:Knowledge‑Guided Feature Engineering via LLM Agents》(https://arxiv.org/abs/2609.03529,https://github.com/youchengsong/large-llm-create-feature,https://huggingface.co/datasets/anonymous-7219/knowfeat),架构如下:

其本质上是基于Agent、知识引导的表格数据自动特征工程框架,面向金融反洗钱等强监管领域,解决现有LLM自动特征工程缺少结构化领域知识、特征校验不足、缺少可审计溯源的痛点。在自动特征工程流程中额外加了两个环节,并让LLM对外提供可审计的依据,路线就是:

展开的路线就是L1特征生成->L2阈值校准->L3特征选择三个步骤:

具体变化上:

一个是在prompt中放入结构化的领域知识,让模型不只是凭空考虑列名,搞成5类知识:

一个是每一轮都设置三道逐步更严格的检查,只有通过全部检查的特征才允许进入训练集。

然后,存在特征漏斗,例如,SimECNY上52个候选特征的逐级过滤,事后选择后只剩4个特征。

一个是每个特征都会附带一张“来源说明卡”,记录它参考了哪条法规、哪条规则、哪份判例,以及如何通过验证,即:知识条目ID、推理链、从原始字段到特征值的计算步骤、L1到L3的验证结果(含IV、KS、冗余与ΔAUC或ΔRecall),这个给两个例子:

fan_in_fan_out_ratio:融合RULE006、RULE013、PATA03、IND15,计算扇入与扇出模式占比之比,再乘以(1+异常模式占比)。L2为IV=0.34(阈值>0.02)、KS=0.28(阈值>0.05)、最大相关0.41(<0.7)、缺失0%;L3为ΔRecall=+0.38%、精确率97.2%,接受;

high_risk_region_off_hour_ratio:把边境地区二值指示与夜间交易占比相乘,依据RULE005/014、IND08/09与EXP05"单独任一信号都不足以判定"。L3为ΔRecall=+0.21%、精确率96.8%,接受。

这六个工作打完,其实雏形有了,难在验证。

二、关于我们

老刘说NLP技术社区,自2022年建立以来,以公正、客观的角度,围绕‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍知识图谱本体论+RAG知识库+Agent智能体三个方向做深入跟进,加入方式在:https://mp.weixin.qq.com/s/_sEWHeV20sN1JcwGJU9tJw

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203728