准确性媲美人类专家，华人学者用ChatGPT对单细胞RNA测序细胞类型注释的

撰文丨王聪

编辑丨王多鱼

排版丨水成文

ChatGPT，是OpenAI公司于2022年11月30日发布的一款聊天机器人，其基于生成式预训练Transformer模型（GPT）的GPT-3.5，2023年3月15日，OpenAI公司推出了功能更强大的GPT-4。

细胞类型注释是单细胞RNA测序（scRNA-seq）分析中的基础步骤，这个过程通常是费力且耗时的，需要人类专家将每个细胞簇中高表达的基因与标准的细胞类型标记基因进行比较，这一过程往往需要花费数月之久。虽然已经开发出了自动化的细胞类型注释方法，但使用标记基因的手动注释仍然被广泛使用。

作为专为学习语言、理解语言和生成语言而设计的大语言模型，GPT-4在生物医学领域也已展现了强大的潜力。那么，GPT-4是否能够用来进行细胞类型注释，从而将现有的手动注释提升到半自动乃至全自动注释的水平？

2024年3月25日，杜克大学 Zhicheng Ji 和哥伦比亚大学 Wenpin Hou 在 Nature 子刊 Nature Methods 上发表了题为：Assessing GPT-4 for cell type annotation in single-cell RNA-seq analysis 的研究论文。

该研究证明了大型语言模型GPT-4可以在单细胞RNA测序（scRNA-seq）分析中使用maker基因信息准确地进行细胞类型注释。

在数百种组织和细胞类型上进行评估时，GPT-4生成的细胞类型注释与人类专家的注释具有很强的一致性。这种能力可以大大减少细胞类型注释所需的工作量、时间以及对专业知识的需求。

我们系统地评估了GPT-4在十个单细胞RNA测序（scRNA-seq）数据集上的细胞类型标注性能，涵盖了五个物种和数百种组织和细胞类型，包括正常和癌症样本。研究团队开发一个R软件包GPTCelltype，用于GPT-4的自动细胞类型注释，并将GPT-4与GPT-3.5，以及CellMarker2.0、SingleR和ScType这几种适用于大量组织的自动细胞类型注释方法进行比较。然后评估这些注释结果与原始研究提供的手动注释的一致性。

GPT-4的细胞类型标注示例及与其他方法的比较：a、由人类专家、GPT-4和其他自动化方法进行的细胞类型注释的比较；b、GPT-4随着粒度的增加标注人类前列腺细胞的示例；c、GPT-4注释单个、混合和新细胞类型的示例

研究团队首先探讨了可能影响GPT-4注释准确性的不同因素，结果显示，当使用前十个差异基因以及使用双侧Wilcoxon检验推导差异基因时，GPT-4表现最佳。GPT-4在各种提示词策略中表现出类似的准确性。在后续分析中，对GPT-4和GPT-3.5都使用了基本提示词策略，并将从Wilcoxon检验中获得的前十个差异基因作为适用数据集的输入。

结果显示，在大多数研究和组织中，GPT-4的注释的75%的细胞类型与人类专家的手动注释相一致，这一结果证明了GPT-4在生成媲美人类专家的细胞类型注释方面的能力。对于文献搜索中的maker基因，这种一致性尤其高，在大多数组织中至少有70%的完全一致率。

此外，研究团队还发现，GPT-4和人类专家在某些细胞类型的注释中的低一致性并不一定意味着GPT-4是不正确的。例如，被归类为基质细胞的包括表达I型胶原基因的成纤维细胞和成骨细胞，以及表达II型胶原基因的软骨细胞。对于人类专家手动标注为基质细胞的细胞，GPT-4则将其进一步细分为成纤维细胞和成骨细胞，从而导致较低的一致性。

研究团队进一步评估了GPT-4在复杂的真实数据场景中的稳健性（robustness），结果显示，GPT-4可以以93%的准确率区分单一细胞类型和混合细胞类型，以99%的准确率区分已知细胞类型和未知细胞类型。他们还评估了GPT-4对细胞类型注释的可重复性，结果显示，GPT-4在85%的情况下为相同的maker基因生成了相同的注释。这些结果都证明了GPT-4在各种场景中的稳健性。

研究团队表示，GPT-4在细胞类型注释中超越了GPT-3.5以及其他自动细胞类型注释方法。但我们还需要进一步验证GPT-4的质量和可靠性，毕竟Open AI公司很少披露对GPT4的训练过程。此外，该研究使用的是GPT-4标准版，而对GPT-4微调还可以进一步提高其在细胞类型注释中的性能。

论文链接：

https://www.nature.com/articles/s41592-024-02235-4