ChatGPT预测和解释常见药物-药物相互作用的能力

药物间相互作用（DDIs）可能会对患者的健康和福祉产生严重影响。如果患者没有意识到药物间潜在的相互作用，那么正在同时服用多种药物的患者可能会面临着不良事件或药物中毒的风险增加。因此，对患者进行有关DDIs的风险和后果的教育对于促进安全和有效的用药至关重要。同时，建议患者关注所有正在服用的药物清单的最新信息，包括非处方药、维生素和补品，并与他们的医疗保健提供者分享这些信息。此外，应鼓励患者与其医生就药物及其潜在相互作用提出问题。

在许多发展中国家，仍在实行无处方用药。这鼓励自我用药或接受非医生保健提供者的建议。自行用药可能会增加DDIs的风险，因为个人可能没有必要的知识和专业技能来了解服用多种药物的潜在风险和副作用。有许多在线渠道可以提供一些关于DDI的指南。然而，由于这些相互作用的复杂性和多因素性，预测和理解DDI可能具有挑战性。近年来，人们对利用自然语言处理(NLP)技术来帮助DDI预测和解释越来越感兴趣。

ChatGPT是一个大型语言模型，已经被证明在各种NLP任务中表现良好，包括文本分类和问题回答。全世界都在使用它。ChatGPT的主要优势是能够以对话的方式生成文本。先前的研究已经确定了ChatGPT在学术写作中的能力，在回答病理学和微生物学中各种水平的推理问题中的能力，或撰写医学检查的能力。然而，没有进行研究来确定预测和解释常见DDI的能力。

这种情况下，本研究旨在发现ChatGPT在预测和解释常见DDI方面的有效性。这项研究将有助于不断增长的基于NLP的DDI预测和解释方法的文献。如果成功，ChatGPT可以作为一种方便的工具，帮助临床医生和患者识别潜在的药物相互作用，并做出明智的决定。

类型和设置：这是一项横断面观察研究，使用的数据可供公众审计。数据的主要来源是万维网。该研究于2023年2月20日至3月5日进行。

伦理：这项研究包括从一个在线网站收集数据并进行分析。没有人或动物参与这项研究。没有使用患者信息来从语言模型生成响应。因此，本研究不需要经过任何伦理委员会的审查。

互动列表：从Kheshti等人之前发表的文章中收集了DDI列表。本文总共使用了40个交互对来测试五个软件程序。作者使用了同一套DDI来检查ChatGPT的能力。

数据收集：在ChatGPT中拥有免费帐户的用户与基于人工智能的语言模型进行了交互，目的是为这项研究收集数据。每一对药物都有两个问题:“我能一起服用X和Y吗？”以及“为什么我不应该把X和Y放在一起？”输出被存储以供进一步分析。图1显示了数据收集方法的简要过程。

数据分析：两名药理学家通过参考Stockley's Drug Interactions Pocket Companion 2015来检查响应，达成共识，并将输出分类为“正确”和“不正确”。其中，“正确”的被进一步划分为“确定性的”和“不确定性的”。

文本还进行了阅读易度评分和所需教育程度等级的检查。数据经过描述性和推断性统计检验。分类数据经过Fisher’s exact test检验，连续变量经过unpaired t-test检验。对于用假定值检查单个参数，作者使用单样本t-test进行检验。对于等级水平，作者考虑到美国医学协会和国立卫生研究院推荐的水平不得高于六年级的阅读难度（Flesch Reading Ease Score 80-90）。p值< 0.05被认为具有统计学意义。作者使用GraphPad Prism（GraphPad Software Inc.，美国）进行了统计测试。

在40个DDI对中，第一个问题有一个答案不正确。其余的答案都是正确的，但是有19个在描述为什么这些药物不能一起服用的基础上是决定性的。

然而，对于那个不正确的问题，当作者问它“为什么我不应该把X和Y放在一起？”，它更正了回复，并通知作者之前的回答贴错了。

对于第二个问题，有一个答案是错误的。在正确答案中，17个是结论性的，其余的是非结论性的。表1显示了不正确、正确结论性、正确非结论性答案的数量。

分析了输出文本的句子、单词、每个单词的音节、阅读容易度分数和等级水平，作者发现两个问题的答案具有相同的阅读容易度分数，并且需要相似的教育等级来理解文本。在第二个问题的答案中，单词和句子的得分较高。文本分析如表2所示。

对于普通用户，尤其是非英语母语的用户来说，理解文本所需的等级水平太高了。当作者将阅读水平与假设的6年级进行比较时，成绩明显高于预期(t = 20.57，df = 39，p < 0.0001，第一次回答的95% CI = 8.17-9.95；t = 28.43，df = 39，95% CI = 8.22 - 9.48，第二次回答p < 0.0001)。

本研究调查了大型语言模型ChatGPT在预测和解释常见DDI中的有效性。服用多种药物的患者如果不知道药物之间的潜在相互作用，可能会增加发生不良事件或药物毒性的风险。使用两阶段问题格式对ChatGPT进行评估。虽然在40个条目中有39个答案是正确的，但在大约50%的答案中，正确答案缺乏清晰度。然而，这种准确性是从药理学的角度来衡量的。从门外汉的角度来看，这些信息是正确的，并且有助于预警患者的任何DDI。

下一个问题是可读性。作者发现答案是一个大学毕业生也能理解的。这比美国医学协会和美国国立卫生研究院建议的6年级水平要高得多。因此，对于普通人来说，对DDI这个直接问题的回答可能很难理解。潜在的原因可能是学术内容占比较大。然而，对于更容易理解的文档，ChatGPT可以变得更有效率。人们可以指示ChatGPT简化语言。作为对解释DDI的响应，ChatGPT首先提供了一个输出，如图2所示。

作者要求ChatGPT使演示更加清晰明了，输出如图3所示。

但是，年级水平没有降低，被理解的容易程度也没有上升。然后作者特别要求让这篇课文适合六年级学生，得到的回答如图4所示。

这一次，级别降至10~12年级，并增加了阅读容易程度分数。然而，根据研究目的，这种生成文本的方法并没有被实践，可能需要在进一步研究中考虑其应用。

DDIs上有几个信息来源可以帮助医疗服务提供者和患者就药物使用做出明智的决定。药品标签和说明书提供了药物药理学、剂量和潜在DDI的详细信息。一些在线工具和移动应用程序可以让用户检查两种或多种药物之间潜在的药物相互作用。专业组织和医疗保健机构通常会制定管理特定医疗状况或处方指南。然而，重要的是要注意，药物相互作用的信息是复杂的，可能需要专业知识。ChatGPT的引入是对现有资源的补充。然而，在对药物治疗方案做出任何改变之前，患者和医疗保健提供者应始终咨询可靠的信息来源，并向合格的医疗保健专业人员寻求建议。

本研究有一些局限性。只使用了40对来测试模型，ChatGPT是用截至2021年的可用数据进行训练的。因此，数据可能不会更新。此外，该模型还会定期升级。因此，在这个时间点上的发现在将来可能不适用。我们使用了目前可用的免费版本的程序，如果免费和付费版本的功能不同，这超出了本研究的的评论能力。

ChatGPT是一个基于人工智能的模型，可帮助预测和解释DDI。不能立即进入医疗机构的患者可以使用ChatGPT初步了解潜在的药物相互作用。然而，ChatGPT可能并不总是提供完整的指导。在开始或停止任何药物治疗之前，或者在改变治疗计划之前，患者应该始终咨询他们的医疗保健提供者。为了使ChatGPT对患者更有用，需要进一步提高其准确预测和解释DDIs的能力。

1. Potential drug-drug interactions among hospitalized patients in a developing country. Mousavi S, Ghanbari G. Caspian J Intern Med. 2017;8:282–288. 

2. Changes in prescription and over-the-counter medication and dietary supplement use among older adults in the United States, 2005 VS 2011. Qato DM, Wilder J, Schumm LP, Gillet V, Alexander GC. JAMA Intern Med. 2016;176:473–482. 

3. Patients' question-asking behavior during primary care visits: a report from the AAFP National Research Network. Galliher JM, Post DM, Weiss BD, et al. Ann Fam Med. 2010;8:151–159. 

4. Prevalence and predictors of self-medication Practices in India: a systematic literature review and meta-analysis. Rashid M, Chhabra M, Kashyap A, Undela K, Gudi SK. Curr Clin Pharmacol. 2020;15:90–101. 

5. Prevalence of self-medication practices and its associated factors in Urban Puducherry, India. Selvaraj K, Kumar SG, Ramalingam A. Perspect Clin Res. 2014;5:32–36. 

6. DDInter: an online drug-drug interaction database towards improving clinical decision-making and patient safety. Xiong G, Yang Z, Yi J, et al. Nucleic Acids Res. 2022;50:0–7. 

7. Detection of drug-drug interactions through data mining studies using clinical sources, scientific literature and social media. Vilar S, Friedman C, Hripcsak G. Brief Bioinform. 2018;19:863–877. 

8. A review of approaches for predicting drug-drug interactions based on machine learning. Han K, Cao P, Wang Y, et al. Front Pharmacol. 2021;12:814858. 

9. The role of ChatGPT, generative language models, and artificial intelligence in medical education: a conversation with ChatGPT and a call for papers. Eysenbach G. JMIR Med Educ. 2023;9:0. 

10. Can artificial intelligence help for scientific writing? Salvagno M, Taccone FS, Gerli AG. Crit Care. 2023;27:75. 

11. Applicability of ChatGPT in assisting to solve higher order problems in pathology. Sinha R K, Deb Roy A, Kumar N, Mondal H. Cureus. 2023;15:35237. 

12. Assessing the capability of ChatGPT in answering first- and second-order knowledge questions on microbiology as per competency-based medical education curriculum. Das D, Kumar N, Longjam L, et al. Cureus. 2023;15:0. 

13. How does ChatGPT perform on the United States Medical Licensing Examination? The implications of large language models for medical education and knowledge assessment. Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, Chartash D. JMIR Med Educ. 2023;9:0. 

14. A comparison of five common drug-drug interaction software programs regarding accuracy and comprehensiveness. Kheshti R, Aalipour M, Namazi S. J Res Pharm Pract. 2016;5:257–263. 

15. Preston CL. Stockley's Drug Interactions Pocket Companion. London, UK: Pharmaceutical Press; 2015. 

16. Conduct common statistical tests online. Mondal H, Mondal S, Majumder R, De R. Indian Dermatol Online J. 2022;13:539–542. 

17. Readability of the most commonly accessed online patient education materials pertaining to pathology of the hand. Akinleye SD, Garofolo-Gonzalez G, Montuori M, Culbertson MD, Hashem J, Edelstein DM. Hand (N Y) 2018;13:705–714. 

18. The readability of scientific texts is decreasing over time. Plavén-Sigray P, Matheson GJ, Schiffler BC, Thompson WH. Elife. 2017;6:0.