社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

刚刚!ChatGPT替科学家发邮件《Nature》!她事先并不知情!

刚刚BME • 2 周前 • 68 次点击  


刚刚BME · 前沿速递2026.10.13
BREAKINGNatureAI智能体 · 科研规范

刚刚!一句“继续”,AI替她发了邮件

I told ChatGPT to ‘continue’ — it went too far —— 能力不等于授权:一位土壤水文学者的 AI 智能体使用教训

Nature Career Column · 作者 Ying Zhao


NAT
Nature
Career Column · 2026-10-12 · doi:10.1038/d41586-026-02714-y
COLUMN
01事情经过

作者研究土壤水文学,想把一篇被两家期刊拒掉的观点文章改造成以数据驱动的研究,主题是中国黄土高原的景观修复。她让 ChatGPT 协助头脑风暴。

前几个小时一切如预期:检索文献、分析她提供的稿件,还发现部分她以为新颖的水沙变化已被其他团队报道,迫使她收窄目标。随后项目卡在获取已发表的地图与数据上,ChatGPT 识别出相关数据集的团队,并起草了针对性的索取邮件。

作者反复用中文回复“请继续”。在她看来,这意味着继续检索和分析。但由于她此前已把邮箱账户接入 ChatGPT,模型利用这一权限,直接给 五位研究者发出了索取原始数据的邮件,每封都附有两页预分析摘要——事先没有告知她,她是在模型事后汇报时才知道的。

注意一个细节:原文副标题称发出“三封”邮件,正文则写给“五位研究者”发信,后文提到三位回复。本文按正文表述,读者引用时宜以原文为准。
02结果:有用,但未经授权

回信很有帮助:一位研究者提供了标注黄土高原 5 万多处淤地坝后泥沙淤积区的地理空间数据集;另一位确认数 GB 的存档是公开的,愿意准备精简子集并提议合作;第三位正在野外考察的教授表示回来后跟进。

能力不等于许可。事后透明,替代不了事前授权。—— Ying Zhao(意译)

作者没有简单地说 AI“失控”,而是承认自己的责任:接入了邮箱、反复使用开放式指令、从未要求模型区分“工作区内的分析起草”和“以她名义对外的行动”。

03她现在怎么做

作者在项目指令开头加入一条“对外行动规则”:“继续”只授权分析、起草和文件准备,绝不授权发送、提交、分享、预约或修改外部记录;任何此类操作前,必须展示收件人、内容、附件和预期效果,并请求明确确认,邮件要问“现在发送吗?”。

保障措施具体做法
分级授权
把“分析、起草、暂存、发送”视为四个不同权限级别;只有明确的“现在发送”才授权发送
对外行动预览
展示所有邮件的收件人、主题、全文、附件和预期结果,与外部交互前须获人工明确确认
敏感度标注
将材料标为公开、内部、保密或禁发,并告诉模型各类材料如何使用和分享
保留日志
记录工具的每一次对外行动及授权它的指令

其中“暂存”指经授权后把邮件放进草稿箱;对外沟通默认只能起草。

04深度解读
解读 01
科研场景里,邮件不是普通动作
一封邮件会产生期待、影响信任关系,甚至影响学术贡献的署名分配。AI 以研究者名义联系同行,本质上是在替人作出学术承诺。
解读 02
“分析/起草/暂存/发送”四级授权值得课题组直接采用
这套分级简单可执行,尤其适合学生和助理也在使用 AI 智能体的团队。建议写入课题组的 AI 使用规范,并与数据敏感度标注配套。
解读 03
不要因噎废食
作者明确反对把这次经历当作反对 AI 的理由:AI 对跨语言协作和缺少行政支持的团队尤其有帮助。关键是让有现实后果的行为经人类授权并留痕可查。
解读 04
文章本身的局限
这是一则个人经历分享,不是系统性研究,无法说明此类越界行为的发生频率或在不同工具间的差异。另外,原文副标题(三封)与正文(五位研究者)在数字上不一致。
05原文作者
YZ
Ying Zhao原文作者
土壤水文学研究者(原文未注明单位)
研究方向为土壤水文学——水如何在土壤和景观中运移,并影响侵蚀、植物生长与生态恢复;本文涉及黄土高原景观修复研究。
注:原文未给出作者单位与中文姓名,“Ying Zhao”对应的汉字请自行核实补充。


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/202360