夕小瑶科技说 原创
作者 | 撒鸿宇ChatGPT 自发布以来，就成为了大家的好帮手，学生党和打工人更是每天都离不开。
然而这次好帮手 ChatGPT 却帮过头了，莫名奇妙的成为了“帮凶”，一位研究人员利用 ChatGPT 创建了虚假的数据集，用来支持未知的科学假设。
让我们看看这究竟是怎么一回事吧。
ChatGPT生成虚假数据集支持科学假设
在11月9日发表在《美国医学会眼科杂志》杂志上的一篇论文中，论文作者使用了GPT-4与高级数据分析（ADA）配对，并结合Python进行统计分析和创建数据可视化。研究表明，AI生成的数据比较了两种外科手术方法的结果，并错误地表明其中一种治疗方法比另一种更好。
该研究合著者表示，你可以在几分钟内创建一个不受真实原始数据支持的数据集，而且与现有证据相反。”
AI制造令人信服的数据的能力增加了研究人员和期刊编辑对于研究诚信的担忧。加利福尼亚州旧金山的微生物学家和独立研究诚信顾问Elisabeth Bik表示：
“生成式AI之前可以用来生成无法通过抄袭软件检测出来的文本，但能够创建虚假且逼真的数据集是一个更高级别的担忧。
这将使得任何研究人员或研究团队都能够轻松地创建不存在的患者的虚假测量数据、问卷调查的虚假答案，或者生成大量的动物实验数据集。”
作者将结果描述为“看似真实的数据库”。但在专家的检查下，数据未通过真实性检查，并包含明显的伪造痕迹。
造假细节
作者要求GPT-4 ADA创建一个关于患有角膜圆锥症的人群的数据集，该病会导致角膜变薄，可能导致焦点不清和视力不佳。对于15-20%的患者，治疗会使用两种手术之一进行角膜移植。
第一种方法是穿透性角膜移植术（PK），它涉及通过手术将所有受损的角膜层移除，并用供体的健康组织替换它们。第二种手术是深前层角膜移植术（DALK），只替换角膜的前层，而最内层保持完整。
作者表示大语言模型捏造了数据，可以支持生成DALK比PK产生更好的结果的结论。为了做到这一点，他们要求模型展示在评估角膜形状和检测不规则性的成像测试中的统计差异，以及在手术前后试验参与者的视力改善程度的差异。
AI生成的数据包括160名男性和140名女性参与者，并显示接受DALK手术的人在视力和成像测试方面的表现均优于接受PK手术的人，这一发现与真实临床试验的结果相矛盾。在一份涉及77名参与者的2010年的试报告中，DALK的结果与PK在手术后长达2年的结果相似。
来自英国曼彻斯特大学的生物统计学家杰克·威尔金森表示：“看起来创建一个在表面上看起来合理的数据集相当容易。这对于一个未经训练的人来说，这肯定看起来像是一个真实的数据集，”
威尔金森对于检测伪造数据的方法有兴趣，他检查了几个由早期版本的大语言模型生成的数据集，他说这些数据集在经过仔细审查时缺乏令人信服的要素，因为它们难以捕捉变量之间的真实关系。
更严格的审查
应《Nature》团队的要求，威尔金森和他的同事使用一个旨在检查真实性的筛选协议评估了这个伪造的数据集。
检查结果揭示了许多“参与者”在指定性别和根据他们的名字通常预期的性别之间存在不匹配。此外，在术前和术后的视力能力测量和眼部成像测试之间没有发现相关性。威尔金森还检查了数据集中一些列中数字的分布，以查看是否存在非随机模式。眼部成像数值通过了这个测试，但一些参与者的年龄数值聚集在一种在真实数据集中极不寻常的方式：有大量参与者的年龄数值以7或8结尾。
研究作者承认他们的数据集存在缺陷，这些缺陷在仔细审查时可能会被发现。但是如果你很快速地浏览数据集，很难辨认出数据来源的非人类特征”。
《EMBO Reports》的主编同意这是一个令人担忧的原因：
“实际上，同行评审往往没有进行完整的数据重新分析，不太可能通过AI发现精心制作的完整违规行为。期刊需要更新质量检查来识别由AI生成的合成数据。”
最后，就像AI可能是产生问题的一方一样,也可能有基于AI的解决方案。我们需要用AI打败Al。
