2025 年 8 月 4 日，UCL Cancer Institute（团队详情在文末）在《Nature Methods || Brief Communication》了一篇题为“Deep-learning-based gene perturbation effect prediction does not yet outperform simple linear baselines”的研究论文，其中指出近期关于基于深度学习的基础模型的研究声称，这些模型能够学习单细胞数据的表征，从而预测基因扰动后的影响。在此，作者将五种基础模型和另外两种深度学习模型与刻意设计的简单基线模型进行了比较，用于预测单个或双重扰动后的转录组变化。结果发现，这些深度学习模型均未超越基线模型的表现，这凸显了在指导和评估方法开发过程中进行严谨基准测试的重要性（文章较长（可到总结-概述-分析方法最后部分）文章数据分析复现代码实例在文末）。
注：本文涉及的公式及函数可以直接复制公式到LaTeX编辑器查看具体公式，我这边推荐：(https://arachnoid.com/latex/或 https://www.quicklatex.com/)🤓🤓
结果概况
大型语言模型在知识表征上的成功推动了将基础模型概念应用于生物学领域的研究。已有多个基于数百万单细胞转录组数据训练的单细胞基础模型被相继提出。其中，scGPT和scFoundation两种近期模型声称能够预测基因扰动所引起的基因表达变化。在本研究中，作者将这些模型的性能与GEARS、CPA以及刻意设计的简单基线模型进行了基准比较。为了提供更全面的视角，作者还纳入了三种单细胞基础模型——scBERT、Geneformer和UCE，这些模型虽非专门为此任务设计，但可通过连接一个线性解码器（将细胞嵌入映射到基因表达空间）而被重新用于该预测任务。在图示中，这些模型的结果以星号标记。
作者首先评估了模型对双重扰动后基因表达变化的预测能力。采用Norman等人产生的数据集，其中利用CRISPR激活系统在K562细胞中上调了100个单个基因和124对基因（扩展图1）。这224种扰动及其无扰动对照的表型数据，为19,264个基因的对数转换RNA测序表达值。作者将所有100个单扰动和62个双扰动数据用于模型微调，并在剩余的62个双扰动上评估预测误差。为确保结果稳健，每项分析均采用不同随机划分方式重复五次。作为对照，作者设置了两种简单基线模型：（1）“无变化”模型，即始终预测与对照组相同的表达水平；（2）“加和”模型，对于每个双扰动，预测其各自单扰动对数倍数变化（LFC）的加和值。这两个基线模型均不使用双扰动数据。所有模型的预测误差均显著高于加和基线模型（图1a,b）。此处的预测误差定义为预测值与真实值在表达量最高的1,000个基因上的L2距离。作者还考察了其他统计指标，如Pearson delta度量，以及在不同基因子集（如表达量最高的n个基因或差异最显著的n个基因）上的L2距离，结果趋势一致（扩展图2）。
图1 | 双重扰动预测。a，基于五次训练-测试划分，62个双扰动预测误差的蜂群图。预测误差通过预测值与实测值在表达量最高的n = 1,000个基因上的L2距离衡量。红色横线表示各模型的平均误差，表现最佳模型的均值以虚线延长示意。b，一个代表性双扰动中实测表达值与预测表达值的散点图。数值表示L2距离和Pearson delta（R2）衡量的误差。c，遗传互作预测的真阳性率（召回率）随错误发现比例的变化曲线。FN：假阴性；FP：假阳性；TP：真阳性。d，基于与加和预期差异的互作类型分类示意图（误差棒表示加和效应的范围）。e，实测互作类型构成的柱状图。f，上图：相对于加和预期的实测表达值与预测表达值的散点图。每个点代表五次训练-测试划分中，62个双扰动下1,000个输出基因之一。偏离加和预期最显著的500个预测以更大且颜色更饱和的点表示。下图：马赛克图，比较上图高亮预测结果在不同预测互作类型下的构成。条形宽度按实例数量比例缩放。图1的源数据已提供。expr.：表达。
接下来，作者评估了模型预测遗传互作的能力。从概念上讲，当多个同时发生的扰动表型显著偏离预期时，即存在遗传互作。作者将其具体定义为：双扰动表型与加和预期之间的差异超出正态分布零模型的预期范围（扩展图3和方法部分）。基于完整数据集，作者在5%错误发现率下识别出5,035个遗传互作（共潜在124,000对）。随后，作者通过计算每个模型在310,000次预测（1,000个输出基因 × 62个保留双扰动 × 5次训练-测试划分）中预测表达值与加和预期的差值，来获得遗传互作预测结果。若该差值超过某一阈值D，则判定为预测存在互作。作者遍历所有可能的D值，计算真阳性率（TPR）和错误发现比例，得到图1c所示曲线。加和模型因定义上不预测互作，故不参与此项比较。所有模型的表现均未优于“无变化”基线。使用其他评价指标也得到了相同的模型排序结果（扩展图4）。为进一步剖析这一现象，作者将互作类型划分为“缓冲型”、“协同型”和“拮抗型”（图1d,e和方法部分）。
所有模型主要预测缓冲型互作。“无变化”基线模型按定义无法识别协同互作，而深度学习模型也很少预测协同互作，且其中正确预测的比例更低（图1f）。令人意外的是，作者发现多个模型在不同双扰动条件下，均频繁将一对血红蛋白基因（HBG2与HBZ）列为最显著的预测互作（扩展图5）。进一步分析显示，除Geneformer和scFoundation外，其余模型对这两个基因的双扰动预测LFC均接近于零——与“无变化”基线一致，尽管它们在单扰动时表现出强烈效应（扩展图6）。更普遍地，作者观察到，对于大多数基因，scGPT、UCE和scBERT的预测值在不同扰动间几乎不变，而GEARS和scFoundation的预测变化幅度也远小于真实数据的变化（扩展图7）。
图2 | 单扰动预测。a，针对134、210和24个未见单扰动，在两次训练-测试划分下的预测误差蜂群图（方法部分）。预测误差通过预测均值与实测值在表达量最高的n = 1,000个基因上的L2距离衡量。红色横线表示各模型的平均误差，表现最佳模型的均值以虚线延长示意。DL：深度学习；LM：线性模型。b，线性模型（LM）示意图及其如何整合可用的基因（G）或扰动（P）嵌入。c，森林图，展示所有模型相对于“均值”基线误差的性能比较。点范围表示在134、210和24个未见单扰动、两次训练-测试划分下，各模型与基线误差比值的自助法均值及其95%置信区间。若置信区间包含0，则点范围透明度降低。图2的源数据已提供。
GEARS、scGPT和scFoundation均声称具备预测未见扰动效应的能力。GEARS利用共享的基因本体（Gene Ontology）注释信息从训练数据中进行外推，而基础模型则被认为在预训练过程中已学习到基因间的相互关系，从而能够预测未见过的扰动效应。为评估这一功能，作者采用了Replogle等人在K562和RPE1细胞中获得的两个CRISPR干扰数据集，以及Adamson等人在K562细胞中获得的一个数据集（扩展图1）。作为基线模型，作者设计了一个简单的线性模型。该模型为每个输出基因分配一个K维向量，为每个扰动分配一个L维向量。这些向量分别组成矩阵G（每行对应一个输出基因）和P（每行对应一个扰动）。G和P可通过降维方法从训练数据中获得（方法部分），或由外部来源提供（如下所述）。随后，给定一个基因表达值数据矩阵Ytrain（每行对应一个输出基因，每列对应一个扰动条件，即单细胞数据的伪批量表达值），
通过以下公式求解K×L矩阵W：
argmin W ||Ytrain − (GWPT + b)||22 （公式1）
其中b为Ytrain各行的均值向量（图2b）。作者还引入了一个更简单的基线模型b，即训练集中所有扰动的均值，该设定参考了本文修订期间Kernfeld等人和Csendes等人发布的预印本。在所有深度学习模型中，没有一个能持续优于均值预测或线性模型（图2a和扩展图8）。本基准测试未包含scFoundation，因其要求每个数据集必须与自身预训练所用基因完全匹配，而在Adamson和Replogle的数据集中，大部分所需基因缺失。CPA也未被纳入，因其设计上不支持预测未见扰动的效应。
接下来，作者探讨GEARS、scGPT和scFoundation在预训练过程中学习到的数据表征是否具有利用价值。作者分别从scFoundation和scGPT中提取基因嵌入矩阵G，从GEARS中提取扰动嵌入矩阵P。将上述线性模型结合这些嵌入后，其表现与scGPT和GEARS自带解码器的性能相当甚至更优（图2c）。此外，结合scFoundation和scGPT基因嵌入的线性模型优于“均值”基线，但并未持续优于使用训练数据直接生成G和P的线性模型。唯一持续优于所有其他模型的方法是：采用在Replogle数据上预训练得到的扰动嵌入P（即使用K562细胞系数据作为Adamson和RPE1数据的预训练，使用RPE1细胞系数据作为K562数据的预训练）。预测准确性在K562与RPE1之间表达更相似的基因上更高（扩展图9）。综合来看，这些结果表明，在单细胞图谱数据上进行预训练带来的性能提升有限，远不如在扰动数据上进行预训练所带来的预测性能提升。
综上所述，作者展示了若干预测任务，在这些任务中，尽管深度学习模型在微调过程中消耗了大量计算资源（扩展图10），当前的基础模型表现并未优于刻意设计的简单线性预测模型。由于这些简单基线模型本身无法表征真实的生物学复杂性，却未被基础模型超越，因此作者认为，后者所追求的构建可泛化的细胞状态表征并预测未实施实验结果的目标，目前仍未实现。GEARS、scGPT和scFoundation的原始研究论文中均包含了与GEARS、CPA以及线性模型的比较。但其中某些比较可能恰好设定得特别“宽松”。例如，CPA本身并非为预测未见扰动效应而设计，因此在双扰动预测任务中表现明显落后。scGPT基准测试中使用的线性模型似乎被设置为：对任何未见扰动均默认预测其表达与对照组无变化。作者的结果与先前发布的多项基准研究一致，这些研究评估了基础模型在其他任务中的性能，发现其相比更简单方法并无显著优势。
作者的结论也与两项先前研究相符，它们表明在预测未见的单或双扰动效应时，简单基线模型优于GEARS。自本研究以预印本形式发布以来，又有多个基准测试相继发表，同样表明深度学习模型在超越简单基线方面仍面临困难。其中两篇预印本提出了一种比作者线性模型（公式(1)）更为简单的基线，即始终预测整体均值，作者已采纳该思路并纳入本研究。本基准测试存在一定的局限性：作者仅使用了四个数据集，选择它们是因为GEARS、scGPT和scFoundation的原始论文均采用了这些数据。另一局限是所有数据均来自癌细胞系，例如Theodoris等人在训练中排除了此类数据，担心其突变负荷过高。此外，作者未尝试改进原始数据的质量控制流程，例如剔除那些未能影响其靶基因表达的扰动样本，这些扰动可能并未按预期发挥作用。深度学习在单细胞组学多个领域已展现出强大效能。然而，如本研究所示，基因扰动效应的预测仍是一项尚未解决的挑战。作者预期，未来若能更加重视性能指标和基准测试，将有助于推动迁移学习在扰动数据上的成功应用。
总结-概述-分析方法
本研究对基于深度学习的基础模型与简单线性基线方法在基因扰动效应预测方面的性能进行了批判性基准评估，结论是当前这些先进模型尚未超越简单的线性方法。
1. 研究目的与范围
本研究旨在比较五种基础模型和另外两种深度学习模型与刻意设计的简单基线模型在预测单个或双重基因扰动后转录组变化方面的表现。该研究动机源于大型语言模型在知识表征方面的成功，推动了基础模型概念在生物学领域的应用，特别是在单细胞数据分析中的探索。 研究重点在于评估这些复杂的深度学习模型是否能够学习到可泛化的细胞状态表征，从而预测尚未实施的实验结果。作者认为，这一目标目前仍“难以实现”。
2. 被评估的模型
本研究对多个模型进行了基准测试： 基础模型：scGPT、scFoundation、scBERT、Geneformer 和 UCE*（*指未专门为此任务设计，但可通过连接线性解码器重新用于该任务的模型）。 其他深度学习模型：GEARS 和 CPA简单基线模型： “无变化”模型：始终预测与对照组相同的表达水平。 “加和”模型：对于双重扰动，预测各单扰动对数倍数变化（LFC）的加和值。该模型按定义无法预测遗传互作。 简单线性模型：将输出基因和扰动分别表示为向量，通过求解矩阵W，最小化观测值与预测值之间的平方差（Ytrain − (GWPT + b)）。 “均值”模型：预测训练集中所有表达值的总体平均值。
3. 实验设计与数据
双重扰动基准测试： 采用Norman等人提供的数据（经scFoundation重处理）。 该数据集在K562细胞中利用CRISPR激活系统上调了100个单基因和124对基因。 表型数据为19,264个基因的对数转换RNA测序表达值。 模型在全部100个单扰动和62个双扰动上进行微调，其余62个双扰动用于评估预测误差。为增强稳健性，分析采用五种不同的随机划分方式重复进行。
单一未见扰动基准测试： 使用Replogle等人（K562和RPE1细胞）及Adamson等人（K562细胞）提供的CRISPR干扰数据集（数据来源为GEARS）。 采用GEARS提出的“模拟”训练-测试划分方法，并重复两次。 为确保所有模型在一致的数据集上进行评估，分析限定在所有模型均能提供预测的扰动上（Adamson数据集73个，Replogle K562数据集398个，Replogle RPE1数据集629个）。
4. 模型操作与微调： 尽可能使用模型的默认参数。 GEARS与scFoundation：提供直接可用的API进行预测；scFoundation训练5个周期（微调时间限制为3天）。 scGPT：采用其教程中的参数与代码。 CPA：使用其教程代码进行组合式CRISPR预测。 Geneformer：通过预测训练数据的扰动标签进行微调，随后使用其内置的“在硅扰动”功能。 UCE：设计用于零样本预测，无需微调。扰动后嵌入通过将未扰动表达矩阵中对应基因的行替换为真实值计算得出（此操作可能引入测试数据泄露，使其具备优势）。 scBERT：通过预测扰动标签进行微调，并采用与UCE类似的方法进行“在硅扰动”。 线性解码器：为Geneformer、UCE和scBERT添加线性解码器（岭回归），用于从扰动嵌入预测基因表达。 作者审核：为避免因操作不当低估模型性能，研究团队咨询了各被测模型的原始作者，对其代码使用进行了审核。
5. 分析方法与评估指标
预测误差度量： L2距离（均方根误差）：计算预测值与实测值在对照条件下表达量最高的1,000个基因上的sqrtsum((y_pred - y_obs)^2)。 Pearson delta相关性：cor(y_pred - y_control, y_obs - y_control)。该指标侧重于正确预测表达变化方向，对一致的幅度偏差不作惩罚。
遗传互作分析： 定义：当两个同时发生的扰动表型“出人意料”时，即存在遗传互作。具体定义为双扰动表型与加和预期的差异超出正态分布零模型的预期范围。在5%错误发现率下，共识别出5,035个遗传互作（潜在总数为124,000个）。 预测：通过计算预测表达值与加和预期的差值获得遗传互作预测结果；若差值超过阈值D，则判定为存在互作。 准确性指标：通过调整阈值D，生成真阳性率（TPR）与错误发现比例（FDP）曲线。该方法可直接评估模型在固定假阳性比例下识别互作的比例。 分类：根据对数倍数变化（LFC）相对于加和预期的偏离，将互作分为“缓冲型”、“协同型”和“拮抗型”。
基线线性模型设置： 对于简单线性模型，对训练数据（Ytrain）进行主成分分析（PCA），以获得基因（G）和扰动（P）嵌入矩阵，随后使用带岭惩罚的正规方程求解矩阵W。 “加和”模型被视为该线性模型的特例：基因嵌入为单扰动数据，扰动嵌入为二进制编码，W为单位矩阵。
6. 主要结果
双重扰动预测： 所有深度学习模型的预测误差均显著高于“加和”基线模型（图1a,b）。这一结果在多种统计汇总方法和基因子集中均保持一致。 “无变化”基线的L2误差最高（8.5），而“加和”基线的误差最低（4.7）。深度学习模型的L2误差范围为2.9（CPA）至7.1（scGPT）。
遗传互作预测： 在检测遗传互作方面，所有模型均未优于“无变化”基线（图1c），其他指标也呈现相同排序。 深度学习模型主要预测出“缓冲型”互作。 它们极少预测“协同型”互作，即便预测出，也大多不准确（图1f）。 一个具体观察：除Geneformer和scFoundation外，多数模型对HBG2与HBZ的双重扰动预测其对数倍数变化（LFC）≈0，尽管这两个基因各自有显著效应，这与“无变化”基线类似。总体而言，scGPT、UCE和scBERT的预测在不同扰动间变化较小，而GEARS和scFoundation的预测变化幅度小于真实数据。
单一未见扰动预测： 没有任何深度学习模型能持续优于“均值”预测或线性模型基线（图2a）。 scFoundation因基因匹配要求未参与此基准测试，CPA因不具备预测未见扰动功能而被排除。
预训练嵌入的实用性：使用scFoundation/scGPT的基因嵌入或GEARS的扰动嵌入的线性模型，其性能等于或优于scGPT和GEARS自带解码器的表现（图2c）。使用scFoundation/scGPT基因嵌入的线性模型优于“均值”基线，但并未持续优于直接从训练数据获取G和P的线性模型。唯一持续优于所有其他模型的方法是：使用在扰动数据上预训练的扰动嵌入P（例如，用Replogle数据预训练Adamson/RPE1数据）。这表明，在单细胞图谱数据上预训练带来的增益有限，而在扰动数据上预训练则显著提升预测性能。
7. 局限性：本基准测试仅使用了四个数据集，选择依据是这些数据集被GEARS、scGPT和scFoundation的原始论文所采用。 所有数据均来自癌细胞系，而部分研究因担忧其高突变负荷而排除此类数据。本研究未改进原始数据的质量控制流程，例如剔除未能影响其靶基因表达的扰动样本。
8. 本研究得出结论：尽管深度学习基础模型在微调过程中消耗大量计算资源，但在基因扰动预测任务中，其表现并未超越刻意设计的简单线性预测模型。这一发现凸显了扰动效应预测仍是当前领域的一大挑战，并强调了在方法开发中进行严谨基准测试的重要性。该结论与近期其他基准研究一致，均表明深度学习模型在单细胞基因组学中超越简单方法仍面临困难。
本研究对基于深度学习的基因扰动效应预测基础模型进行了严格的基准测试，得出结论：这些先进模型尚未超越简单的线性基线方法。
研究解决的难点及问题
1. 评估基础模型在生物学领域的潜力：大型语言模型在知识表示方面的成功，促使研究者尝试将“基础模型”的概念应用于生物学领域，特别是单细胞数据分析，以期学习细胞状态的可泛化表示，从而预测基因扰动效应。
2. 验证预测基因扰动效果的能力：先前有研究声称像scGPT和scFoundation这样的模型能够预测由基因扰动引起的基因表达变化。本研究旨在严格测试这些主张，并评估它们是否能预测未进行实验的结果，而这一目标被认为是“难以捉摸的”。
3. 缺乏严格的基准测试：研究指出，在方法开发和评估中，批判性基准测试的重要性。之前的比较（例如scGPT和GEARS）可能“特别容易”，因为它们将模型与不适合该任务或设置不当的基线进行比较（例如，CPA未设计用于预测未知扰动，而scGPT的线性模型基线在面对未知扰动时会恢复到预测无变化）。
4. 预测遗传相互作用的挑战：一个关键的难点在于预测遗传相互作用，即当两种（或多种）同时扰动产生的表型“出乎意料”时。如何准确地识别和分类这些相互作用（例如，缓冲、协同或反向）是一个复杂的问题。
5. 预测未知扰动的能力：GEARS、scGPT和scFoundation声称能够预测从未在训练数据中出现过的扰动效应。评估这种“零样本”或“泛化”能力是研究的一大挑战。
最终结论
1. 未能超越简单基线：现有基于深度学习的基础模型在基因扰动效应预测方面，并未比刻意简化的线性预测模型表现更好。
2. 双重扰动预测表现不佳：在双重扰动预测任务中，所有深度学习模型的预测误差均显著高于“加性”基线，且没有一个模型优于“无变化”基线。例如，CEBPE+CEBPB双重扰动的预测中，许多深度学习模型的L2误差远高于加性模型的2.9。
3. 遗传相互作用预测的局限性： 深度学习模型很少能正确预测协同相互作用。 大多数模型主要预测缓冲相互作用。“无变化”基线模型因其定义无法发现协同相互作用。加性模型由于其定义，不预测任何相互作用。
4. 单一未知扰动预测的不足：对于预测单一未知扰动，没有一个深度学习模型能够持续优于“平均”预测或简单的线性模型基线。
5. 预训练的有限益处：研究发现，在单细胞图谱数据上进行预训练，相比于随机嵌入，仅带来了很小的益处。然而，在扰动数据上进行预训练确实提高了线性模型的预测性能。
6. 泛化能力仍未实现：尽管投入了大量计算资源用于微调深度学习模型，但它们未能超越简单基线，这表明它们提供细胞状态可泛化表示并预测未进行实验结果的目标仍然难以实现。
7. 与先前研究结果一致：本研究结果与此前评估基础模型在其他任务中表现的研究结果一致，这些研究也发现相比于更简单的方法，基础模型的益处微不足道。
研究建议
1. 强调批判性基准测试：研究明确指出，批判性基准测试在指导和评估方法开发中至关重要。
2. 关注性能指标和基准测试：未来的研究应更加关注性能指标和基准测试，这将有助于成功将迁移学习应用于扰动数据。
3. 考虑更简单基线的强大能力：研究结果暗示，在开发新的预测模型时，应将简单线性模型视为强有力的基线进行比较，因为它们在当前任务中表现出色。
4. 拓展数据集多样性：研究指出其局限性之一是仅使用了四个数据集，且这些数据均来自癌细胞系。未来的工作可以通过包含更广泛的细胞类型和扰动类型数据集来改进。
5. 优化数据质量控制：研究承认未尝试改进原始数据的质量控制，例如排除那些未按预期影响其靶基因表达的扰动。这暗示未来的研究或模型开发可以从更严格的数据预处理中受益。
研究的主要工作是总结和应用了各种分析计算方法来比较这些深度学习模型与几种简化基线模型的性能。以下是本研究所使用分析计算方法的总结概述：
研究评估的深度学习模型
本研究基准测试了五种“基础模型”和两种其他深度学习模型，它们是：scGPT、scFoundation、GEARS、CPA、scBERT、Geneformer、UCE，其中，scBERT、Geneformer和UCE并未明确设计用于扰动预测，但通过结合线性解码器将其细胞嵌入映射到基因表达空间后，可以重新用于此任务。
使用的基线模型
为了进行严格比较，研究设计并包含了几种简单基线模型：
1. “无变化 (No change)”模型：
始终预测与对照条件（未扰动）相同的基因表达值。
2. “加性 (Additive)”模型：仅用于双重扰动预测任务。对于每种双重扰动，预测其个体对数倍数变化 (LFC) 的总和。
公式：ŷadd = yA + yB - y∅，其中 yA 和 yB 分别是基因A和基因B单独扰动后的平均观察表达向量，y∅ 是对照条件下的表达值。该模型不使用双重扰动数据进行预测。
3. “平均 (Mean)”模型：计算训练数据中表达值的平均值作为预测结果。
4. “线性模型 (Linear model)”：用于预测未见过的单基因扰动效应。它将每个读出基因表示为K维向量，每个扰动表示为L维向量，这些向量分别收集在矩阵G和P中。
模型公式：
训练阶段：argmin W ||Ytrain − (GWPT + b)||22，其中 Ytrain 是基因表达数据矩阵，b 是 Ytrain 的行均值向量。
W 的求解：W = (GTG + λI)−1GT(Ytrain − b)P(PTP + λI)−1。
预测公式：Ŷ = GW̃PT + b。
参数设定： 岭回归惩罚 λ = 0.1，用于数值稳定性。 K值设定为 K=10。
G和P的获取方式：可以通过对 Ytrain 执行主成分分析 (PCA) 获取G的前K个主成分，然后G的子集（对应于训练数据中扰动的基因）用于P。
也可以从外部来源（如scFoundation、scGPT或GEARS）提取预训练的基因嵌入矩阵G或扰动嵌入矩阵P。
当使用来自Replogle数据的P进行预训练时，该线性模型表现优于所有其他模型。
数据集与实验设置
双重扰动基准测试：使用Norman et al. 的K562细胞数据，包含100个单基因扰动和124对基因双重扰动。模型在所有100个单扰动和62个双扰动上进行微调，并在剩余的62个双扰动上评估预测误差。为确保鲁棒性，分析重复了五次，每次使用不同的随机分区。
未见单扰动基准测试：使用Replogle et al. 的K562和RPE1细胞CRISPR干扰数据集，以及Adamson et al. 的K562数据集。使用GEARS的“模拟”测试-训练分割程序，并重复两次。并非所有模型都能预测所有未见扰动，因此分析限制在所有模型都能提供预测的扰动子集上（Adamson数据集73个，Replogle K562数据集398个，Replogle RPE1数据集629个）。
评估指标
预测误差：使用L2距离（也称为均方根误差，RMSE）衡量预测值与观察值之间的差异。通常针对前1000个高表达基因计算。
Pearson Delta 相关性：PearsonDelta(ŷ, y) = cor(ŷ - y∅, y - y∅)。该指标不惩罚幅度上的系统性偏差，更关注表达变化的正确方向预测。
遗传相互作用预测评估：遗传相互作用定义：当双重扰动表型与加性预期值之间的差异超过正态分布零模型下的预期值时，则认为存在遗传相互作用。使用了Efron的经验零假设方法。相互作用分类：根据LFC与加性预期之间的差异，将相互作用分为“缓冲 (buffering)”、“协同 (synergistic)”或“反向 (opposite)”。精确度衡量：通过计算真阳性率 (TPR) 作为假阳性比例 (False Discovery Proportion, FDP) 的函数来评估相互作用预测的准确性。
模型的微调和操作细节
模型微调时间：限制在3天内，例如scFoundation微调了5个epoch。
scGPT：使用其教程中用于扰动预测的相同参数和代码。
CPA：使用其教程中预测Norman数据集上组合CRISPR扰动的代码。
Geneformer：通过预测训练数据的扰动标签进行微调，并使用内置的in silico扰动功能计算扰动嵌入。
UCE：设计用于零样本使用，无需微调。通过将未扰动细胞的表达矩阵中目标基因行替换为真实表达值来计算扰动后嵌入，以确保在最佳条件下测试模型，尽管这理论上可能引入测试数据泄露。
scBERT：通过预测训练数据的扰动标签进行微调，并采用与UCE相同的方法计算in silico扰动后的嵌入。
线性解码器：对于Geneformer、UCE和scBERT，添加了线性解码器（岭回归模型）来从扰动后的嵌入中预测基因表达。
总而言之，该研究通过对多种现有深度学习模型和精心设计的简单基线模型进行全面的、严格的基准测试，揭示了当前深度学习基础模型在基因扰动效应预测方面未能超越线性基线这一核心结论。
论文数据分析复现（用户指南）
conda create -n gpe_env python=3.10 conda activate gpe_env
notebooks/single_perturbation_analysis.Rmd
benchmark/src/run_scgpt.py
文献原文及其他参考文献和论文数据时候和复现（包含分析数据和梳理好的代码）可以后台获取下载链接，关键词：250817（后台输入关键词250817，自动回复下载链接）；针对研究论文中的分析，欢迎任何问题都可以私信或留言询问。
我们也创建了一个交流群，平时大家可以一起学习交流，我们也会花时间维护（欢迎大家加入分享交流群，也希望大家多提需求）：
团队信息
Constantin Ahlmann-Eltze
用于病理学研究和教育的视觉语言基础模型 || Zhi Huang（点击扫码观看）
New Advances in Single-Cell and Spatial Genomics || 单细胞和空间基因组学的新进展 (2025)（点击扫码观看）
![]()
![]()
![]()
Sarah Teichmann || 英国剑桥大学 || 单细胞生物学（点击扫码观看）
![]()
绘制细胞命运在空间和时间中的转变 || Joshua D Welch（点击扫码观 看）空间转录组学的模型和方法 || Ben Raphael || CGSI（点击扫码观看）
![]()
![]()
![]()
更多资源欢迎关注B站（关注MCBRLab ）
Elizabeth Dorans || 哈佛医学院 || 单细胞多组学技术和分析方法（点击扫码观看）
![]()
![]()
![]()
其他参考基础模型：
Nature Methods || 大规模单细胞转录组学基础模型 || scFoundation
scGPT-spatial：面向空间转录组学的单细胞基础模型（scGPT || Nature Methods）的持续预训练
Nature || 2024 HCA || SCimilarity：一种用于大规模搜索相似人类细胞的细胞图谱基础模型-单细胞注释
Nature || 2024 HCA || 人类神经类器官的综合转录组细胞图谱-单细胞注释
Nature Genetics || 2024 || 人类乳腺细胞图谱 || 单细胞图谱能够映射成人人体乳腺的稳态细胞变化
综述：利用最优传输技术分析单细胞和空间组学数据 || Nature Reviews Methods Primers
Nature Genetics || 利用高级统计方法（潜在嵌入多元回归）解析多条件下的单细胞组学数据
Nature Methods || 综述：单细胞多组学中的小样本方法：单个数据点的重要性
Nature Reviews Genetics || 综述：单细胞多组学时代的基因调控网络推断
参考文献：
Ahlmann-Eltze, C., Huber, W. & Anders, S. Deep-learning-based gene perturbation effect prediction does not yet outperform simple linear baselines. Nat Methods 22, 1657–1661 (2025). https://doi.org/10.1038/s41592-025-02772-6
