陌生人如何通过ChatGPT获取我的电子邮件地址？

CAIGP聚焦如何根据全球新兴法律和标准开发、集成和部署可信AI系统。课程包括AI技术、全球法律框架、全生命周期风险管理及国际标准、可信审查最佳实践等主题。如果您希望报名培训，或有合作意向？请入群！

想想挺恐怖！我们既不知道个人信息如何通过大模型泄露，更不知道如何去解决这个数据保护问题！算法黑箱是我们从来没有遇到过的大难题！

以下是全文：

11 月，我收到了一封来自一个我并不认识的人的令人震惊的电子邮件：他是印第安纳大学布卢明顿分校的博士生Rui Zhu。Zhu向我解释说，他之所以有我的电子邮件地址，是因为 OpenAI 最新、最强大的语言模型之一 GPT-3.5 Turbo 给了他这个地址。

去年秋天，包括 Zhu 在内的一个研究团队设法从 GPT-3.5 Turbo 中提取了 30 多名《纽约时报》员工的职业和个人电子邮件地址，其中就有我的联系信息。Zhu写道："经过一番努力，该团队得以 "绕过该模型对回复隐私相关查询的限制"。

我的电子邮件地址不是秘密。但研究人员实验的成功应该敲响警钟，因为它揭示了 ChatGPT 和类似的生成式人工智能工具的潜力，只要稍加调整，就能泄露更敏感的个人信息。

当你向 ChatGPT 提问时，它不会直接在互联网上搜索答案。相反，它会利用从大量信息中 "学习 "到的东西--用于提供和开发模型的训练数据--来生成答案。大型语言模型（LLM）通过大量文本进行训练，其中可能包括从互联网和其他来源提取的个人信息。这些训练数据为人工智能工具的工作提供了信息，但不应该被逐字记住。

从理论上讲，向 LLM 添加的数据越多，模型中对旧信息的记忆就会越深。一个被称为灾难性遗忘的过程会导致 LLM 在添加新数据时，将以前学习过的信息视为相关性较低的信息。当你希望模型 "遗忘 "个人信息等内容时，这一过程可能是有益的。然而，Zhu和他的同事等人最近发现，LLMs 的记忆和人类一样，可以被刷新。

在揭示我的联系信息的实验中，印第安纳大学的研究人员给 GPT-3.5 Turbo 一份简短的清单，上面有经过核实的《泰晤士报》员工的姓名和电子邮件地址，结果该模型返回的结果与他从训练数据中记住的结果相似。

与人类记忆一样，GPT-3.5 Turbo 的记忆能力也并非完美无缺。研究人员能够提取的结果会出现幻觉，即容易产生虚假信息。在他们给出的《泰晤士报》员工的例子中，许多个人电子邮件地址只差几个字符，或者完全不对。相反，80% 的工作地址都是正确的。

OpenAI、Meta 和谷歌等公司使用不同的技术来防止用户通过聊天信息或其他界面询问个人信息。其中一种方法是教工具拒绝个人信息请求或其他与隐私相关的结果。一般用户在与 ChatGPT 聊天时，如果开始询问个人信息，就会被拒绝，但研究人员最近发现了规避这些保护措施的方法。

Zhu和他的同事并没有直接使用 ChatGPT 的标准公共接口，而是使用了其应用编程接口（API），外部程序员可以使用该接口与 GPT-3.5 Turbo 进行交互。他们使用的程序被称为 "微调"（fine-tuning），其目的是让用户可以为 LLM 提供更多特定领域的知识，如医学或金融。但是，正如 Zhu 和他的同事们发现的那样，微调也可以用来绕过该工具的一些内置防御。ChatGPT 界面接受了通常会被拒绝的请求。

"他们没有经过微调的数据保护措施，"Zhu 说。

"OpenAI 发言人在回应置评请求时说："对我们来说，模型的微调是安全的，这一点非常重要。"我们对模型进行了训练，以拒绝有关人的私人或敏感信息的请求，即使这些信息可以在开放的互联网上获得。"

这个漏洞非常令人担忧，因为除了数量有限的 OpenAI 员工之外，没有人真正知道 ChatGPT 的训练数据内存中隐藏着什么。根据 OpenAI 的网站，该公司不会主动寻求个人信息，也不会使用来自 "主要汇集个人信息的网站 "的数据来创建工具。OpenAI 还指出，其 LLM 不会在数据库中复制或存储信息："就像一个人读过一本书后就会把它放下一样，我们的模型在学习完训练信息后就无法访问这些信息了"。