科研、项目合作：panp6600 (注明来意,清北硕博团队专注于AI for Science自研大模型，接受天使轮投资，欢迎投资者咨询)
————————————
本文内容独家整理，盗用必究
来源：Advanced Drug Delivery Reviews | 密歇根大学生物医学工程系 Sriram Chandrasekaran 团队
药物发现是现代医学最具挑战性的工程之一。平均一款新药从靶点确认到上市，耗时超过十年、花费数十亿美元。近年来，人工智能（AI）在这一领域展现出巨大潜力，但有一个核心矛盾始终存在： 深度学习模型越强大，对数据量的需求就越庞大——而药物发现偏偏是一个数据极度匮乏的领域。
密歇根大学生物医学工程系与癌症研究中心的研究团队，在《Advanced Drug Delivery Reviews》上发表了一篇系统性综述，全面梳理了在数据受限条件下，机器学习（ML）与深度学习（DL）的应对策略，覆盖从靶点发现到毒性预测的全流程，并对传统ML方法和现代DL方法进行了深度对比与任务专项分析。
为什么药物发现永远都是"小数据"问题？ 理解这一问题的根源，是所有后续方法论的出发点。
在计算机视觉领域，ImageNet拥有超过一百万张标注图像；在自然语言处理领域，模型的预训练语料动辄千亿词次。 而在药物发现中，一个特定靶点的实验验证化合物，往往只有几百甚至几十个样本。
导致这种稀缺的原因是多维度的：首先，生成生物活性标注数据（如药效、毒性、多组学图谱）需要复杂的湿实验流程，成本高昂；其次，大量数据被锁在制药公司专有数据库中，无法共享；第三，对于罕见病或特定癌症亚型，患者队列本身就极小，难以构建大规模数据集；第四，即使是常见疾病，多源数据（临床、组学、化学结构）的异质性和碎片化，也使得有效样本量被进一步稀释。
更重要的是，"小数据"不仅仅意味着样本数量少。论文特别强调，数据稀缺在药物发现中还体现为：不同实验室、检测方法间的 分布异质性 ；生物测量中不可避免的 噪声与批次效应 ；以及化合物库中化学骨架多样性不足导致的 代表性偏差 。这些因素共同构成了"小数据"的多维内涵。
在建模层面，小数据给ML/DL带来的核心挑战是 过拟合 。当模型参数量 远超训练样本量 （即
）时，模型倾向于记忆训练集中的噪声模式，而非学习真正可泛化的规律。经典统计学习理论告诉我们，泛化误差的上界与模型复杂度成正比，与有效样本量成反比。设 为经验风险， 为贝叶斯最优风险，则过拟合带来的泛化间隙可近似表示为：
其中 为假设空间， 为其VC维度。
深度神经网络的VC维度极高，当 很小时，这一间隙将急剧增大。
药物发现的全链路：AI在哪些环节发力？ （图1：药物发现与开发全流程概览，从疾病表征到临床审批，粗体标注了ML/DL最活跃应用的任务节点，包括HTS高通量筛选、虚拟筛选、DTI药物-靶点相互作用预测、QSAR定量构效关系建模、ADME与毒性预测等。）
综述将药物发现流程划分为七个核心任务节点： 生物标志物发现、靶点识别、苗头化合物发现（Hit Discovery）、药物-靶点相互作用（DTI）预测、苗头化合物到先导化合物优化（H2L）及先导化合物优化、毒性预测、药物重定向 。每个任务都面临独特的数据稀缺形态，也对应着不同的算法策略。
传统机器学习：为何在小数据场景中依然不可替代？ 面对数据匮乏， 传统ML方法（SVM、随机森林、梯度提升树、朴素贝叶斯、逻辑回归、K近邻）并未过时，反而因其固有特性成为小数据场景的基石。
支持向量机（SVM）为何在小样本中表现稳健？ SVM的核心机制是最大化分类间隔。设训练集
，其中 ，SVM通过求解以下优化问题实现结构风险最小化：
其中
为核函数映射， 为正则化参数， 为松弛变量。 最大间隔原则天然抑制过拟合，使SVM在高维、小样本场景中具有优异泛化能力。 利用核技巧（如径向基函数核 ），SVM可在不显式升维的情况下处理非线性关系。在靶点识别、DTI预测和虚拟筛选中，SVM是迄今为止应用最为广泛的传统ML模型之一。
随机森林如何从噪声中提炼信号？ 随机森林（RF）通过对训练集进行Bootstrap采样、对特征进行随机子集选择，构建多棵决策树后集成预测：
每棵树 的分裂准则基于基尼不纯度或信息增益。
随机性的引入使各棵树之间相关性降低，集成后的方差得以有效压缩，这正是RF在噪声环境下泛化性能优异的根本原因。 同时，RF内置的特征重要性度量（基于分裂带来的不纯度降低量的累加）使其成为生物标志物发现任务中的重要工具。
SHAP如何赋予模型生物学可解释性？ 无论哪种传统ML模型， SHAP（SHapley Additive exPlanations）已成为生物医学应用中事后可解释性分析的标准工具。 对于样本 的第 个特征，其Shapley值定义为：
其中
为全特征集， 为仅使用特征子集 时模型的预测值。SHAP保证了预测值可被分解为各特征的加性贡献， 从而帮助研究者确认模型利用了具有生物学意义的分子特征，而非偶然的统计伪相关。
（图2：ML/DL策略概览。(a) 七大药物发现任务及其数据挑战；(b) 应对小数据的五类DL策略：迁移学习、自监督学习、数据增强、少样本学习、混合模型。）
表1对六类传统ML算法在小数据药物发现场景下的核心维度进行了系统对比，综合评估了小数据性能、抗过拟合能力、可解释性、可扩展性、非线性处理能力等多个指标：
（+：优势；-：劣势；~：条件性）
综述对各任务的传统ML应用进行了系统梳理。以 生物标志物发现 为例：在癌症、阿尔茨海默病、结核病等多种疾病的转录组、蛋白质组、甲基化数据分析中，SVM与RF是最常用且表现最稳健的模型，训练样本量通常在30至2000之间；在
靶点识别 任务中，SVM-RFE（递归特征消除结合SVM）通过迭代去除最不重要的特征，被广泛用于从蛋白序列和PPI网络特征中筛选候选药物靶点，训练集规模通常为50至1500个标注蛋白。
深度学习如何在数据匮乏中"以小博大"？ 传统ML依赖人工特征工程，难以捕捉分子图、蛋白质序列等复杂原始输入中的深层规律。 DL方法的优势在于端到端学习——但这恰恰要求大量标注数据。 为了打破这一矛盾，研究者发展出五类核心策略：
迁移学习（Transfer Learning）：知识从大数据域流向小数据域 迁移学习的基本范式是"预训练 + 微调"（Pre-training + Fine-tuning）。设源域为
（大规模，如含数百万SMILES字符串的ChEMBL数据库），目标域为 （小规模，如特定靶点的几百个活性化合物）。预训练阶段在 上学习参数 ：
微调阶段以
为初始化，在 上优化：
正则化项
确保微调后的参数不偏离预训练所学知识过远，从而在小数据条件下仍能维持良好泛化性。 典型应用包括基于ChemBERTa预训练的分子属性预测、MT-DTI（基于Transformer的DTI预测）以及PLAPT（基于预训练Transformer的蛋白质-配体结合亲和力预测）。
自监督学习（SSL）：让无标签数据"自己教自己" SSL通过设计 前置任务（Pretext Task） ，从无标注数据中自动生成监督信号。以对比学习（Contrastive Learning）为例，其核心目标函数为InfoNCE损失：
其中
是同一分子经不同数据增强后得到的两个视图的嵌入表示， 为温度参数， 为余弦相似度。 该损失驱使模型将同一分子的不同视图映射到嵌入空间中相近的位置，同时远离不同分子的表示，从而在不需要任何标签的情况下学习到化学信息丰富的分子表示。
MolCLR、iMolCLR等方法基于此思路，在大量无标签分子图上预训练后，在毒性预测、ADMET属性预测等小数据任务上取得了显著性能提升。MG-BERT则将掩码预测（Masked Atom Modeling）引入分子图Transformer，通过预测被遮蔽原子的类型来学习原子级表示，其数学目标为：
其中 为被掩蔽的原子集合， 为分子图。
少样本学习与元学习（Few-shot & Meta-Learning）：学会"从少量样本快速学习" 元学习的核心思想是跨任务分布 学习一个优良的模型初始化 ，使其能够在新任务 上仅用 个样本（ -shot）就能快速适应。MAML（Model-Agnostic Meta-Learning）的优化目标为：
外层优化更新的是"如何让内层梯度更新更有效"的元参数 ，而非任务特定参数。 这种双层优化使模型在仅见极少样本（甚至1个样本，即1-shot）时，也能通过一步或少数几步梯度更新快速适应新任务。
在药物发现中，基于度量的方法（Metric-based）同样关键。 原型网络（Prototypical Networks） 为每个类别 计算支持集样本的平均嵌入作为原型：
查询样本的预测基于其与各类原型在嵌入空间中的距离：
MetaDTA、MGDTI、ZeroBind等方法将元学习框架引入DTI预测，在冷启动（新靶点、零已知互作信息）场景下展现出强大的泛化能力。
数据增强与合成（Data Augmentation & Synthesis）：人工扩充数据多样性 针对分子数据最常用的增强策略是 SMILES枚举 。同一分子拥有多种等价的SMILES表示，通过随机化SMILES字符串，可以为同一分子生成多个不同但化学等价的训练样本，显著增加训练集的有效规模和表示多样性。数学上，若分子 对应的等价SMILES集合为 ，则扩增后的训练集为：
更复杂的方法使用 变分自编码器（VAE） 在潜空间中合成新分子。VAE的目标函数为变分下界（ELBO）：
其中 为编码器（识别网络）， 为解码器（生成网络）， 为KL散度。 在训练完成后，从先验分布 采样
，即可通过解码器生成具有类似药物性质的新分子，从而人工扩充稀缺的训练数据。
混合与轻量化深度学习模型：在性能与样本效率间寻求平衡 混合模型（Hybrid Models）通常将无监督特征提取（如自编码器、图神经网络）与可解释的监督分类器（如L1正则化逻辑回归、浅层随机森林）结合，同时融合多源异质数据（转录组、蛋白质组、化学结构）。 这种设计在保留DL强大表示能力的同时，引入生物先验（如代谢通路、蛋白互作网络），降低了对大规模标注数据的依赖，并提升了输出的可解释性。
ECMarker采用半限制玻尔兹曼机（semi-RBM）结合L1正则化，在早期癌症分类的同时直接输出基因级生物标志物重要性排序；DeepKEGG将KEGG代谢通路层次结构编码入图神经网络，使模型输出具有通路级别的生物学可解释性。
（图3：小数据约束下的模型选择实用决策流程图。该流程帮助研究者判断传统ML是否足够，并在泛化能力不足时，根据高维度、标注稀疏、类别不平衡、域偏移、多模态异质输入等具体挑战，引导选择合适的小数据DL策略。）
五大策略如何应用于七大药物发现任务？ 表3总结了五类DL策略在小数据药物发现场景下的综合能力对比：
在 DTI预测 中，论文梳理了从传统ML到DL的完整谱系：传统方法（SVM、RF、正则化最小二乘）在Yamanishi、DrugBank等经典基准上仍具竞争力；基于BERT的方法（MT-DTI结合TL与SSL、ChemBERTa + ProtBERT的轻量化组合）在减少训练标注量时仍保持强泛化性；ZeroBind通过子图匹配实现零样本DTI预测；MetaDTA将元学习引入结合亲和力预测，在少样本靶点场景下超越传统监督方法。典型数据集规模为1千至1万个标注互作对，少样本场景下每个蛋白质族仅有不足100个样本。
在 ADMET与先导化合物优化 中，MolPMoFiT将ULMFiT风格的归纳迁移学习应用于QSAR建模；HelixADMET与MG-BERT结合TL与SSL预训练，在Tox21、ClinTox、SIDER等基准上实现了ADMET属性的高精度预测；NoiseMol通过向SMILES字符串注入随机扰动进行数据增强，在分子属性预测中可将均方根误差降低约10-15%；Meta-MolNet构建了标准化的少样本分子属性预测基准，在每类仅14至256个样本的极端低标注条件下，元学习方法仍取得了可靠性能。
在 毒性预测 中，Vella和Ebejer系统评估了Siamese网络、Matching网络、原型网络和Relation网络在Tox21数据集上的表现，发现原型网络在每类仅1至10个样本时仍能维持较高AUROC，展示了度量学习在极端数据稀缺毒性预测中的巨大潜力。MolCLR利用图对比学习在大量无标签分子上预训练后微调，在多个毒性端点上超越了监督基线。
（图4：传统ML方法在各小数据药物发现任务中的代表性案例研究，涵盖任务背景、数据模态、样本规模、算法策略、关键发现及报告性能指标。）
（图5：DL方法在各小数据药物发现任务中的代表性案例研究，展示了不同策略如何通过利用辅助信息和学习表，有效应对标注数据有限的挑战。）
当前存在哪些关键瓶颈与未来方向？ 综述在讨论部分指出，尽管五类DL策略已展现出显著潜力，但 若干核心挑战仍悬而未决 ：
第一，基准测试不一致 。即使是Tox21、TCGA、GEO等广泛使用的数据集，也缺乏标准化的数据划分、任务定义和评估指标，使得不同方法间的直接比较极为困难。这一问题在先导优化和生物标志物发现任务中尤为突出。
第二，域外泛化能力不足 。现有DL方法在分布内（In-distribution）测试集上表现良好，但面对训练集中未见过的化学骨架或蛋白质家族时，性能往往急剧下降。这在药物发现中是致命的，因为真正有价值的预测恰恰是针对未知化合物或新靶点的。
第三，可解释性缺失 。在生物医学应用中，模型的预测机制必须透明且具有生物学意义。DL模型的"黑箱"特性与监管要求（如FDA的良好机器学习实践指南）之间存在根本性张力。 未来亟需开发针对分子图和多组学数据的任务特定可解释性工具。
第四，伦理与监管挑战 。小数据集（尤其是罕见病和分层患者队列）可能内嵌采样偏差，导致模型预测不公平。将AI辅助药物发现结果转化为临床决策，需要与FDA等监管机构的合规标准深度对接。
未来最具前景的方向包括： 构建涵盖多任务的标准化小数据基准 ； 开发专为表格型和多模态组学数据设计的轻量化DL架构 ； 将代谢通路、蛋白互作网络等结构化生物知识以图神经网络或网络正则化形式嵌入模型 ，以减少对大规模标注数据的依赖、提升生物学可解释性。
核心结论 这篇综述的价值在于，它既不是对AI万能论的盲目鼓吹，也不是对传统方法的保守固守，而是基于七大任务、数百篇文献，给出了一幅在数据受限条件下 理性选择算法工具 的完整地图。
核心结论可概括为三点 ：其一，传统ML（尤其是SVM与RF）在数据极少、噪声较大、可解释性要求高的早期发现任务中，依然是不可替代的基线；其二，DL的优势在于能够从原始输入中自动学习复杂表示，五类小数据策略（TL、SSL、元学习、数据增强、混合架构）使其在数据受限场景中的适用性大幅提升；其三， 可靠、可解释、可泛化的AI药物发现工具，需要方法论进步与标准化基准建设、伦理合规保障三位一体地协同推进。
论文引用：
Pallikkavaliyaveetil, N., & Chandrasekaran, S. (2025). Small data, big challenges: Machine- and deep-learning strategies for data-limited drug discovery. Advanced Drug Delivery Reviews
