
生物医药领域每年产出海量文献,药物、疾病、基因之间错综复杂的线索,大多藏在论文摘要和临床试验记录里。科研人员想要从中挖掘有用信息,逐篇人工阅读整理,既耗费大量时间精力,还很容易漏掉关键细节。
自ChatGPT流行之后,不少科研同行将目光投向它,希望借助大模型解放文献梳理的压力。但通用大模型处理专业医学文本的真实水平到底如何?
发表在Bioinformatics的一项基准测评,通过多组对照实验给出了答案。
研究采用业内通用的BLURB评测体系,覆盖实体识别、临床PICO信息提取、实体关系抽取、句子相似度、文档分类、问答六大科研高频文本任务。选取PubMedBERT、BioLinkBERT这类经过生物医药文献专项训练的模型作为参照,在零样本、少样本条件下,完成对ChatGPT能力的综合检验。
图1. 基于ChatGPT开展生物医药自然语言处理任务的工作流程
整体测评分数显示,ChatGPT综合BLURB得分为58.50,和领域最优模型84.30存在不小差距,各项任务的表现参差不齐。六项任务当中,问答是ChatGPT为数不多的优势项,整体表现优于PubMedBERT与BioLinkBERT‑Base,接近BioLinkBERT‑Large,在PubMedQA测试集上的结果甚至超过部分对照组,这也和它原生面向对话交互的设计特点相契合。
实体识别环节呈现出清晰的能力偏向,识别化学物质效果最好,疾病次之,基因名称识别效果最差,整体性能不及领域专用模型。
表1. BLURB基准下五项命名实体识别任务指标
提取临床PICO信息时,ChatGPT与对照组仍有差距,但差距小于实体识别。它擅长解读完整的长段临床描述,却经常忽略简短关键短语,碎片化的临床信息极易发生漏检。
开展实体关系抽取工作,优化提问方式、补充少量参考案例能够改善输出,但模型误判问题突出,常会给本无关联的实体强行建立相互联系。文档分类、句子相似度任务上,零样本场景ChatGPT表现依旧弱于领域模型。
表2. ChatGPT与基线模型在BLURB基准上的性能表现
这项测评给到科研工作者很务实的提示。通用大模型不是生物医药文本处理的万能利器。在文献问答场景,ChatGPT可以作为不错的辅助工具。但面对实体识别、关系抽取、文献分类这类硬核专业任务,经过医药语料打磨的领域模型会更加可靠。实际科研中按需选择工具,扬长避短,才能真正发挥AI的价值。
参考文献:
Chen Q, Sun H, Liu H, et al. An extensive benchmark study on biomedical text generation and mining with ChatGPT. Bioinformatics. 2023;39(9):btad557. doi:10.1093/bioinformatics/btad557
本文仅用于学术分享,转载请注明出处。若有侵权,请联系微信:bioonSir 删除或修改!
点击下方「阅读原文」,前往生物谷官网查询更多生物相关资讯~