社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

深夜总结:大模型及Agent如何融合机器学习模型

老刘说NLP • 5 小时前 • 15 次点击  

今天是2026年11月19日,星期四,北京,天气晴。

深夜看技术,抛出个社区的讨论问题:LLM做机器学习特征工程的路线有哪些?

这是一个很真实的需求。传统特征工程的核心痛点是人工定义特征、人工筛选、人工校验、依赖领域专家、迭代慢、泛化差;LLM 做特征工程不是取代传统特征,而是新增一套自然语言 -> 语义特征、自动化特征生成、特征理解与治理的能力,分为两大范式:

一个是LLM 作为特征提取器(产出语义类特征),产出特征喂给下游模型(LR、XGB、DNN、推荐排序模型等);

一个是LLM 作为特征工程的智能代理(自动化特征开发、管理、校验)。这其实是一个 Copilot,帮数据科学家写特征代码、做特征分析、清洗、筛选、监控。

这个可以分成4个范式(Prompt 驱动,LLM 直接生成结构化特征、Embedding 语义特征、LLM 作为智能代理(Agent)端到端自动化特征工程流水线、LLM + 传统统计 / 算法模型联合特征学习)和6条路线,可以作个大模型用于机器学习特征挖掘的总结,看看路线。

这是个很好的思路,很好的方向。


一、大模型用于机器学习特征挖掘的一些总结

1、先看四个范式

可以拆分成4个范式:

其一,Prompt驱动,LLM直接输出离散/结构化标签特征(文本->分类特征)。不用embedding,直接用LLM的理解、归纳、抽取能力,通过设计Prompt,让LLM输出可直接作为表格特征的字段:类别标签、情感极性、风险等级、主题、实体、是否触发规则、摘要标签、结构化抽取结果。输出是离散类别、枚举、短文本,是categorical特征。本质是把LLM当成一个可自定义规则的标注器,替代人工标注、正则、NLP规则。

其二,Embedding语义特征路线,把文本输入LLM/基座模型,取隐藏层输出做向量(Embedding),把不定长文本映射到固定维度稠密向量,作为一组连续特征,和传统结构化特征(年龄、金额、频次)拼接后送入下游模型。

其三,LLMAgent/特征工程Copilot:LLM不产出特征值,而是自动化整个特征开发流水线,这是和前两条完全不同的路线:LLM是特征工程师助手,操作SQL、Python、Pandas、Spark,读取数据表,理解业务目标,自动构思特征、写代码、执行、校验、筛选、生成特征文档。输入:表结构、业务目标、样本标签;输出:一批特征脚本+特征,而不是LLM推理出来的标签/向量。实现思路大致是:step1.理解任务:LLM读表注释、字段含义、业务目标(预测逾期、预测点击);->step2.特征构思:基于领域常识,生成候选特征思路(统计特征、窗口特征、交叉特征、时序聚合特征:近7天金额、频次、不同行为交叉);->step3.代码生成:自动写SQL/PySpark计算特征;->step4.沙箱执行:在隔离环境运行代码,计算IV、PSI、相关性、缺失率、分布;->step5.特征筛选:LLM结合统计指标,过滤无效、泄露、高相关性、低区分度特征;->step6.文档生成:输出每个特征含义、计算逻辑、业务解释;->step7.迭代:根据模型反馈,补充新特征。

然后呢,高级形态其实是闭环Agent带工具调用(Python解释器、SQL引擎、统计包),可以自主探索:看分布、看相关性、看标签和特征的关系,自主发现有效特征。 典型代表:AutoFE、LLM-FE、各类内部AutoFeatureAgent。这个最为重要,不是全自动替代特征工程师,而是特征勘探助手:批量产出候选特征池,由人审核、挑选、上线;人做最终把关。

其四,LLM+传统模型联合特征学习,前面三条是LLM产出特征,交给下游模型,属于解耦范式;这条是耦合范式,LLM和判别模型一起联合学习特征表征。一类是LLM作为编码器,和Tabular模块融合(TabLLM),构化字段转自然语言描述(“用户年龄28,近3天下单2次”)喂给LLM编码,LLM输出向量,和tabularencoder融合,端到端训练预测目标。这个的本质是把表格样本序列化文本化,用LLM做跨字段语义交互;自动学习字段交叉;研究居多,工业落地较少;推理成本高;可解释弱;一类是LLM引导隐式特征学习(LLM做监督信号),LLM给出软标签、对比学习样本、自然语言侧监督信号,引导小模型学习更好的特征表示;不是直接把LLM输出当特征,而是作为学习信号;一类是LLM先验+传统特征蒸馏,M学到的语义知识蒸馏成轻量小模型,小模型离线批量输出特征,替代原生LLM推理,解决延迟成本问题。先用大模型打标签/生成向量,训练一个轻量模型,线上用小模型产出特征;兼顾效果、成本、稳定性。

2、在结构化数据上的6个路线

1)语义先验:LLM 当"相关性打分器"

只给特征名和任务描述、不给数据,让 LLM 输出重要性分数或排序。

例如《LLM-Select: Feature Selection with Large Language Models》(https://arxiv.org/pdf/2407.02694) 发现零样本就能接近统计方法的效果;

又如《 Exploring Large Language Models for Feature Selection: A Data-centric Perspective》(https://arxiv.org/pdf/2408.12025) 把已有方法分成两类,一类输入样本数值做统计推断,另一类只输入描述、做语义关联,并指出两类方法在不同规模模型上表现差异很大。

这个的价值在于:冷启动时识别冗余列、发现"统计上弱但领域上必要"的特征(如比率型交互)。当然,也有实效的情况,例如匿名列(f0、f1)、列名与真实语义不一致、特征数超出上下文窗口。

2)代码合成:LLM 当"特征程序员"

这是目前最主流的路线。

代表工作看下:

例如《Large Language Models for Automated Data Science: Introducing CAAFE for Context-Aware Automated Feature Engineering》(https://arxiv.org/pdf/2305.03403)(代码:https://github.com/automl/CAAFE)把数据集描述、少量样本行、已有特征的表现一起喂给 LLM,让它迭代生成 Python 特征代码并附解释,再用 CV 决定是否采纳;论文报告在 14 个数据集中的 11 个上有提升,平均 ROC AUC 从 0.798 到 0.822。

又如《Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning》(https://arxiv.org/pdf/2404.09491) 换了输出形式,产出 if-then 规则特征,配合 select-expand-ensemble,下游只用线性模型就能在 few-shot 场景上拿到优势。

又如《LLMs as Feature Engineers for Text-and-Tabular Prediction》(https://arxiv.org/pdf/2609.21894) 把生成器和抽取器拆成两个 LLM,用 AUC 排名反转这种具体错误转成自然语言反馈来引导搜索。

这种做法的优点是产出可读、可复用、可审计;风险是执行失败率和泄漏。

3)程序搜索:LLM 当"搜索算子"

把特征工程显式建模为程序合成问题,LLM 只负责提议和变异,选择权交给数据。

例如:《LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers》(https://arxiv.org/pdf/2503.14434) 用进化算法框架,让 LLM 变异历史上成功的特征变换程序;

又如《AIDE: AI-Driven Exploration in the Space of Code》(https://arxiv.org/pdf/2502.13138) 是更上层的 MLE agent,把整个建模过程(含特征工程)作为代码空间里的树搜索;《SymboLLM-FE: LLM-Accelerated Symbolic Regression for Automated Feature Engineering on Tabular Data》(https://arxiv.org/pdf/2608.28408) 把符号回归和 LLM 提议结合。

这是当前最合理的结构性路线,因为它把 LLM 放在"高方差提议器"的位置上,而不是让 LLM 承担它做不好的评估职责。风险是 reward hacking:一旦搜索目标就是验证分数,候选就会朝过拟合方向演化。

4)表征:LLM 当"编码器"

这种路线不产出可解释的特征列,而是把语义注入表示。三条支线:文本列直接取 embedding 作为数值特征;

例如《CARTE: Pretraining and Transfer for Tabular Learning》(https://arxiv.org/pdf/2402.16785) 用列名和取值的开放词表 embedding + 图注意力做跨表迁移;

又如《Language Models are Realistic Tabular Data Generators》(https://arxiv.org/pdf/2210.06280) 用自回归 LLM 直接建模表格分布(严格说是数据生成,不是特征生成,但常被混在同一叙事里)。

这条路线与前面几个路线正交。现实约束是尺度不匹配——稠密 embedding 与表格数值特征不同分布,树模型对前者并不友好,通常要降维或分桶。

**5)知识检索:LLM 当"特征库的检索引擎" **

这个路线不让 LLM 发明特征,而是检索历史特征定义、指标口径、SQL 片段,做迁移和一致性校验。

例如,《KnowFeat: Knowledge-Guided Feature Engineering via LLM Agents》(https://arxiv.org/pdf/2609.03529) 是这一思路的代表:agent 挂三类知识(指标定义、业务规则、历史经验),并明确在无泄漏协议下做消融,验证领域知识确实是增益来源。

6)端到端替代:让特征工程这个问题消失

路线如下:

具体实现上,把整行序列化成文本走 ICL,或用《TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second》(https://arxiv.org/pdf/2207.01848) 这类先验拟合网络,一次前向完成"隐式特征工程"。这里辩证地看:这条路线的部分成功恰恰证明很多手工特征是在补偿模型容量不足;但它在大表、高基数类别、时序因果上仍弱,而且不可审计。

3、再看6个现实风险

其一,评估器过拟合——这是当前领域最大的问题。例如:《LATTEArena: An Evaluation Framework for LLM-powered Tabular Feature Engineering》(https://arxiv.org/pdf/2606.09004) (项目页:https://goodenhak.github.io/LATTEArena/)在16个数据集、4 个 LLM 后端上复现了 24 种配置,给出一个很直白的数据:某 OPRO 配置验证集增益 +3.55%,但到 AutoML 全流程的测试集增益只有 −0.32% 。这说明相当一部分论文报告的提升,来自在同一个 CV 上反复挑选候选带来的选择偏差,并非真实增益。防御手段只有嵌套 CV、独立 holdout,以及报告胜率与平均排名而非平均提升。

其二,泄漏的三个入口。 一是描述泄漏(把目标列的统计口径写进 dataset description);二是样本泄漏(few-shot 示例里带了标签分布);三是时序泄漏(用未来窗口算聚合)。正确做法是把特征生成放进每个 fold 内部,让不同 fold 生成不同的特征集——这会显著抬高成本,也是很多实现偷偷省略的一步。例如:《The Silent Failures in Agentic Data Science》(https://arxiv.org/pdf/2610.14115) 直接把"在 EDA 阶段偷看测试集"列为独立失败类型。

其三,多重比较。 生成 M 个候选、在 n 个样本上选最优,选择偏差量级约为 √(2 ln M / n)。样本一万以下时,这个量级足以抵消大部分真实增益,因此小数据集上 LLM 特征工程的收益基本不可信。

其四,成本结构不对称。例如:《LATTEArena: An Evaluation Framework for LLM-powered Tabular Feature Engineering》(https://arxiv.org/pdf/2606.09004) 测到:CoT→ToT/Critic 的成本增长约 1.3× 到 2×,进化式方法直接冲到 近 10× ,而对应的测试增益差距不到 0.5 个百分点。同时它的运行时间只有 Autofeat/GRFG 的约 10%,这说明 LLM 的优势在"定向探索"的效率,不在"更强的搜索" 。

其五,输出格式是被严重低估的设计维度。 同一个方法,把自然语言输出换成 RPN 表达式,输出 token 降 81.3%、运行时间降 36.1%;换成自由 Python 代码,token 反而增加 150%,执行失败率也更高。结论有点反直觉: 让 LLM 输出受限 DSL 更合适,不要让它写自由代码 。用表达力换稳定性,这通常是值得的。

其六,可复现与可审计。温度、随机种子、模型版本漂移都会让特征集不可复现。生产上必须把"特征血缘"(哪个提示词、哪个模型、哪次运行、在哪个fold 上生成)写入数据库,否则既无法审计,也无法回滚。

二、关于我们

老刘说NLP技术社区,自2022年建立以来,以公正、客观的角度,围绕‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍知识图谱本体论+RAG知识库+Agent智能体三个方向做深入跟进,加入方式在:https://mp.weixin.qq.com/s/_sEWHeV20sN1JcwGJU9tJw


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203641