社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

ChatGPT读文献,到底行不行?Bioinformatics 六大任务实测 | 问答接近领域模型,实体识别和分类明显掉队

生物谷 • 13 小时前 • 22 次点击  

图片

生物医药领域每年产出海量文献,药物、疾病、基因之间错综复杂的线索,大多藏在论文摘要和临床试验记录里。科研人员想要从中挖掘有用信息,逐篇人工阅读整理,既耗费大量时间精力,还很容易漏掉关键细节。


自ChatGPT流行之后,不少科研同行将目光投向它,希望借助大模型解放文献梳理的压力。但通用大模型处理专业医学文本的真实水平到底如何?


发表在Bioinformatics的一项基准测评,通过多组对照实验给出了答案。



研究采用业内通用的BLURB评测体系,覆盖实体识别、临床PICO信息提取、实体关系抽取、句子相似度、文档分类、问答六大科研高频文本任务。选取PubMedBERT、BioLinkBERT这类经过生物医药文献专项训练的模型作为参照,在零样本、少样本条件下,完成对ChatGPT能力的综合检验。


图1. 基于ChatGPT开展生物医药自然语言处理任务的工作流程


整体测评分数显示,ChatGPT综合BLURB得分为58.50,和领域最优模型84.30存在不小差距,各项任务的表现参差不齐。六项任务当中,问答是ChatGPT为数不多的优势项,整体表现优于PubMedBERT与BioLinkBERT‑Base,接近BioLinkBERT‑Large,在PubMedQA测试集上的结果甚至超过部分对照组,这也和它原生面向对话交互的设计特点相契合。


实体识别环节呈现出清晰的能力偏向,识别化学物质效果最好,疾病次之,基因名称识别效果最差,整体性能不及领域专用模型。


表1. BLURB基准下五项命名实体识别任务指标


提取临床PICO信息时,ChatGPT与对照组仍有差距,但差距小于实体识别。它擅长解读完整的长段临床描述,却经常忽略简短关键短语,碎片化的临床信息极易发生漏检。


开展实体关系抽取工作,优化提问方式、补充少量参考案例能够改善输出,但模型误判问题突出,常会给本无关联的实体强行建立相互联系。文档分类、句子相似度任务上,零样本场景ChatGPT表现依旧弱于领域模型。


表2. ChatGPT与基线模型在BLURB基准上的性能表现


这项测评给到科研工作者很务实的提示。通用大模型不是生物医药文本处理的万能利器。在文献问答场景,ChatGPT可以作为不错的辅助工具。但面对实体识别、关系抽取、文献分类这类硬核专业任务,经过医药语料打磨的领域模型会更加可靠。实际科研中按需选择工具,扬长避短,才能真正发挥AI的价值。


参考文献:

Chen Q, Sun H, Liu H, et al. An extensive benchmark study on biomedical text generation and mining with ChatGPT. Bioinformatics. 2023;39(9):btad557. doi:10.1093/bioinformatics/btad557


本文仅用于学术分享,转载请注明出处。若有侵权,请联系微信:bioonSir 删除或修改!




图片

点击下方「阅读原文」,前往生物谷官网查询更多生物相关资讯~

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203678