例如《LLM-Select: Feature Selection with Large Language Models》(https://arxiv.org/pdf/2407.02694) 发现零样本就能接近统计方法的效果;
又如《Exploring Large Language Models for Feature Selection: A Data-centric Perspective》(https://arxiv.org/pdf/2408.12025) 把已有方法分成两类,一类输入样本数值做统计推断,另一类只输入描述、做语义关联,并指出两类方法在不同规模模型上表现差异很大。
例如《Large Language Models for Automated Data Science: Introducing CAAFE for Context-Aware Automated Feature Engineering》(https://arxiv.org/pdf/2305.03403)(代码:https://github.com/automl/CAAFE)把数据集描述、少量样本行、已有特征的表现一起喂给 LLM,让它迭代生成 Python 特征代码并附解释,再用 CV 决定是否采纳;论文报告在 14 个数据集中的 11 个上有提升,平均 ROC AUC 从 0.798 到 0.822。
又如《Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning》(https://arxiv.org/pdf/2404.09491) 换了输出形式,产出 if-then 规则特征,配合 select-expand-ensemble,下游只用线性模型就能在 few-shot 场景上拿到优势。
又如《LLMs as Feature Engineers for Text-and-Tabular Prediction》(https://arxiv.org/pdf/2609.21894) 把生成器和抽取器拆成两个 LLM,用 AUC 排名反转这种具体错误转成自然语言反馈来引导搜索。
这种做法的优点是产出可读、可复用、可审计;风险是执行失败率和泄漏。
3)程序搜索:LLM 当"搜索算子"
把特征工程显式建模为程序合成问题,LLM 只负责提议和变异,选择权交给数据。
例如:《LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers》(https://arxiv.org/pdf/2503.14434) 用进化算法框架,让 LLM 变异历史上成功的特征变换程序;
又如《AIDE: AI-Driven Exploration in the Space of Code》(https://arxiv.org/pdf/2502.13138) 是更上层的 MLE agent,把整个建模过程(含特征工程)作为代码空间里的树搜索;《SymboLLM-FE: LLM-Accelerated Symbolic Regression for Automated Feature Engineering on Tabular Data》(https://arxiv.org/pdf/2608.28408) 把符号回归和 LLM 提议结合。
例如,《KnowFeat: Knowledge-Guided Feature Engineering via LLM Agents》(https://arxiv.org/pdf/2609.03529) 是这一思路的代表:agent 挂三类知识(指标定义、业务规则、历史经验),并明确在无泄漏协议下做消融,验证领域知识确实是增益来源。
6)端到端替代:让特征工程这个问题消失
路线如下:
具体实现上,把整行序列化成文本走 ICL,或用《TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second》(https://arxiv.org/pdf/2207.01848) 这类先验拟合网络,一次前向完成"隐式特征工程"。这里辩证地看:这条路线的部分成功恰恰证明很多手工特征是在补偿模型容量不足;但它在大表、高基数类别、时序因果上仍弱,而且不可审计。