生成式人工智能是一种模型学习输入数据的模式和结构，然后产生与训练数据相似但具有一定程度新颖性的新内容的系统。本文深刻探讨了生成式人工智能治理的三个关键条件：观察、检查和修改。通过对这一新兴领域的深入研究，论文提出了有效治理生成式人工智能的战略和原则。这篇论文不仅为生成式人工智能治理提供了深刻的理论基础，而且为决策者、研究者和从业者提供了实用的指导原则。它鼓励我们在这个快速发展的领域中保持警觉，并以负责任和可持续的方式引导人工智能的发展。
点击标题下方蓝字 关注+星标 “Political理论志”
不错过社会科学前沿精彩信息哦
具体操作如右 →
在一个越来越多地被像ChatGPT这样的生成型人工智能（AIGC）所塑造的世界中，缺乏用于检查监督机制有效性的基准是研究和政策的一个问题。治理 AIGC 的结构条件是什么？要回答这个问题，将生成型AI系统定位为可被管制的监管对象是至关重要的：即生成型AI的系统是可以被管理的实体物品。基于这一概念基础，本文引入三个高层次的条件来构建关于AIGC治理的研究和政策议程：工业可观测性、公众可检查性和技术可修改性。从经验上，本文重点解释了这些条件，并以欧盟的AI法案为例，将对AIGC的监督机制的分析建立在它们作为可观测、可检查和可修改对象的细致物质属性之上。这三个条件代表了一个行动计划，帮助我们将AIGC视为可协商的对象，而不是将它们视为对人类构成存在风险的神秘力量。
Fabian Ferrari，乌特勒支大学
José van Dijck，乌特勒支大学
Antal van den Bosch，乌特勒支大学
Ferrari, F., van Dijck, J., & van den Bosch, A. (2023). Observe, inspect, modify: Three conditions for generative AI governance. New Media & Society
本文作者Fabian Ferrari（左）José van Dijck（中）Antal van den Bosch （右）
全球各地的政府目前面临着建立对生成型AI系统的监督机制的复杂挑战。以意大利为例，2023年初，出于对用户数据隐私侵犯的担忧，该国对ChatGPT实施了暂时禁令。中国被认为是全球最早推出生成型AI规定的国家之一。中国于2023年8月15日发布的《生成式人工智能服务管理暂行办法》则结合了多种治理工具。生成型AI供应商被要求提交他们的算法进行安全评估，这些算法被列入算法注册表。其他治理工具包括披露用于开发生成型AI应用程序的训练数据集的义务，以及强制性水印的技术整合，用于AI生成的内容。这些类型的措施表明，由生成型AI系统的复杂性推动的监督方法工具组合正在迅速发展。
驾驭这种不稳定的治理格局具有挑战性，不仅因为国际层面的治理方法不一致，而且因为每周都会层出不穷地出现新的生成式人工智能技术。因此，有必要为高级别监督条件开发一个概念词汇，这些类别不仅限于某一特定监管环境，而且可以作为跨国比较的系统基础，并为研究和政策议程提供信息。换句话说，治理AIGC系统的结构条件是什么？在一个日益受到 ChatGPT 等AIGC系统影响的世界中，缺乏衡量监督机制有效性的基准是研究和政策的一个问题。如果没有一个清晰的概念框架来将这些转瞬即逝、快节奏的发展解释为生成人工智能治理结构条件的实证表达，就很难驾驭全球人工智能政策格局并比较各国的措施。
为了解决这个治理难题，本文引入了三个嵌套的监督条件来治理生成型AI系统：工业可观测性、公众可检查性和技术可修改性。这些条件是相互依赖的。只有当它们结合在一起时，才能为研究和政策创建一个连贯的框架。
这个治理框架的关键在于，这三个锚点使我们能够将生成式人工智能系统视为本质上可谈判的对象，而不是将它们视为对人类构成生存风险的神秘力量。它们的可协商性源于这样一种认识，即我们可以将生成式人工智能系统的监督结构研究建立在其作为可观察、可检查和可修改对象的物质属性的基础上。系统或多或少是可观察的，或多或少是可检查的，或多或少是可修改的。尽管如此，要使这一论点具有实证意义，必须针对具体的监管框架来制定；它不能仍然是一个抽象的主张。因此，本文阐述了这三个条件对现实世界的影响，重点关注欧盟提出的《人工智能法案》，分析该法规在多大程度上考虑了生成人工智能系统的精细特性。
生成式人工智能系统建立在基础模型之上，用于检测和存储训练数据集中元素之间的依赖关系模式。基础模型可以在训练后针对下游任务进行微调，但它们也可以从用户生成的提示开始，根据学习的模式生成输出。这些新的输出可以是文本、图像、音乐、语音和视频。我们特别关注大型语言模型（LLM），它们在大型文本数据集上进行训练以生成文本输出。基础模型的示例包括 OpenAI 的生成式预训练 Transformer (GPT) 模型（它是 ChatGPT 的基础）、为 Bard 提供支持的 Google 的 LaMDA 模型以及 Meta 的 LLaMA 模型。
在本节中，我们将AIGC系统定位为监管对象。根据Fisher（2014）的说法，监管对象可以被认为是“被监管行为者理解为要监管的事物“的东西。要成为监管对象，它必须能够被理解为可以管理的物质项目。 为了概述这一基本假设对AIGC的影响，我们通过三个分析主题来探讨它们：物质参照性、算法不透明性和监管共同生产。这三个主题不仅有助于将生成式人工智能系统概念化为多层监管对象，而且每个主题还推动了生成式人工智能治理的后续条件的制定。
物质参照性：如何观察监管对象？
物质参照性(material referentiality)提出了一个基本问题：“如何观察待管制的对象？科学技术研究领域在审视复杂监管对象与治理框架之间的动态方面发挥了关键作用。由于监管对象的物质属性的复杂性和隐蔽性，以及这些属性可能处于动态变化的状态，提供如何追踪监管对象的明确回应变得具有挑战性。通过对治理对象的观察，这里的参照性指的是追踪监管对象在更广泛的行业结构中的定位。
虽然生成型AI系统并不是第一批引发关于物质参照性复杂问题的算法监管对象，但它们也不是第一批难以从实证角度追踪的监管对象。以转基因生物体（GMO）的监管为例，如为提高作物生产力而开发的转基因农业种子。例如，转基因种子被用来种植抗虫害的转基因玉米，从而增加产量。在对GMO作为治理对象的研究中，Lezaun（2006）追踪了能够在整个食品生产系统中追踪GMO的行政实践和检测工具。这些参照性基础设施包括官方命名（即给监管对象一个明确的名称，使其在机构层面上不含糊）和检测方法的标准化（即将监管对象识别为该对象）。如果没有对转基因种子行业的深入了解，就不可能维持对不同种子变种及其后来转变为食品产品的概览。
官方命名和检测方法的标准化对于监管 AIGC也极其重要。的确，它们的物质复杂性不同于科学技术研究学术领域研究的其他监管对象。以飞机为例。飞机由许多组件组成，如引擎、螺旋桨和其他部件。在它们能够进入市场之前，监管机构必须批准所有组件。相比之下，AI基础模型的组成部分较少，本质上是人工神经元，但它们之间的众多连接允许产生令人费解的多种架构配置，这影响输出的生成。航空工业的例子清楚地说明了物质参照性的问题至关重要。如果一个管辖区内的不同权威机构对监管对象的理解不同，这种差异会严重阻碍它们监管航空工业的能力。同时，如果不同管辖区之间在物质参照性上存在显著差异，跨境监管体系的效力将被严重限制——考虑到AI治理的全球互联性，这是一个极其相关的方面。
受到这一研究方向的启发，我们认为，对于 AIGC 而言，对互联的治理对象进行类似的分析性区分迫在眉睫。如果没有具体说明构成监管对象的元素是什么（以及它们如何相互关联），那么这些系统就无法被公众检查或技术上修改。由于AIGC系统不是在社会真空中存在的孤立代码行，它们作为监管对象的角色需要与它们繁荣和重塑文化实践的政治经济背景结合起来研究。与交易算法类似，AIGC也是极度可变和不稳定的对象，因为它们不断被修改（例如，通过训练或微调）。这种结构上的可变性引发了一个问题：监管机构如何以精确定义的方式检查这些系统的运作？
算法的不透明性：如何检查监管对象？
明确划分和界定生成式人工智能系统作为监管对象极具挑战性，这一事实导致了第二个分析主题：算法不透明（Algorithmic Opacity）。本主题的关键问题是：如何考察监管对象？众所周知，备受瞩目的商业算法（无论它们是否被贴上人工智能的标签）都不受外界审查。大量研究已经解决了算法不透明这一棘手问题。处理算法不透明性的一种常见方法是将其视为一种认识论限制：知识生产以及监管行动的障碍。例如，Burrell（2016）恰当地指出高维数学优化、机器学习的特性与人类规模推理的需求和语义解释风格之间的不匹配。然而，将数学复杂性解释为不可调节的领域是存在危险的。检查监管对象并不意味着可以或应该揭露其所有复杂性（同时也要考虑到知识产权或商业秘密等因素）。相反，检查能力意味着有监管机制以标准化方式检查其运作情况——无论是针对其行为还是其结果。
算法的行为是根据特定参数精心分类的。因此，识别出生成式人工智能系统的这些属性是什么，是一个关键问题。如果没有监管机构愿意通过将化学品或转基因食品归类为神秘或无法治理的物体来限制其监管机构，那么为什么人工智能系统会出现这种情况呢？将算法不透明性视为生成式人工智能系统不可避免的特征，代表了其所有者为避免透明义务等监督措施而采取的话语策略。例如，OpenAI 尚未披露有关其用于训练 ChatGPT 的训练数据集的任何关键细节。我们只知道一些基本信息，例如 ChatGPT 的早期版本是在 45 TB 的庞大数据集上进行训练的。尽管 OpenAI 一再呼吁制定新的法规，但该公司在定义和影响监管规范和原则方面拥有既得利益，并且更喜欢企业监督方法。企业监督意味着生产人工智能系统的公司也应该设定条件来监督其影响。
为了反驳更喜欢企业监督方法的论点，我们认为可以认识到生成式人工智能系统确实是数学上复杂的对象，部分超越了人类的推理的规模，同时也强调了为什么它们的开发人员可能故意隐藏有关这些系统的信息。例如，就大型语言模型而言，它们的不透明性是企业策略不披露有关基本组件（例如训练数据集）细节的直接结果。同时，训练数据集并不是唯一的相关信息类型。如果不准确了解需要访问哪些类型的信息以及原因，监管响应就无法捕捉杠杆点以使算法策略之间的关系交互变得可见，例如人工智能支持的策略有害内容的产生。
与其声称算法不透明，不如制定出需要向监管机构提供的可检查技术细节的细粒度级别。正如下一节所示，有关生成人工智能系统内部运作的知识也与如何将它们修改为监管对象相关。
监管共同生产：如何修改监管对象？
监管共同生产（Regulatory co-production）不仅仅着眼于监管对象和监管框架如何相互定位；它询问它们如何彼此联合制作。本主题的主要问题是：监管对象如何修改？它的物质特性会如何改变，为什么？正如Fisher（2014）在化学物品的背景下所写的那样，共同生产的作用可能会在化学品安全问题上得到认可，但与化学品本身的特性关系不大。关键在于监管对象的问题属性（及其潜在影响）如何触发旨在改变这些物质特征的监管反应。就生成人工智能系统而言，对错误信息、操纵和未经授权使用资源（例如侵犯版权）的担忧可能会加剧监管动机。因此，需要阐明在何处、如何以及为何可以修改监管对象的更广泛背景。
如何将生成式人工智能系统作为人工智能监督结构的一部分进行修改 是考虑的关键因素。当在AIGC的背景下检查技术可修改性时，我们将它们的物质属性理解为由法规不断共同产生的分层排列。共同生产的理念可以追溯到Jasanoff(2004)的基础工作，该理论假设知识及其物质体现既是社会工作的产物，又是社会生活形式的组成部分。在本文中，可以说生成式人工智能系统既是监管框架的产物，也是监管响应的组成部分。例如，如果AIGC系统一开始就不是不透明的安排，就不需要透明度要求。这些透明度义务可能不会直接改变人工智能系统的材料属性，但它们可能会在检查和建议后通知下游对特定系统功能的修改。调查商业基础模型（例如 OpenAI 的 GPT-4）提供商如何被迫修改其模型以遵守国内法律，需要对监管共同生产的递归性质保持敏感。换句话说，技术可修改性并不是一条单行道，尤其是在像生成人工智能系统治理这样快速发展的领域。
总而言之，如果不充分考虑如何使生成式人工智能系统变得可观察（以及对谁）、关于它们的哪些信息层可以检查（以及对谁）以及如何充分解释它们作为监管对象的作用，就无法解释。在它们可以作为物质项目进行管理之前，它们可以或应该如何（以及为什么以及由谁）修改。在下一节中，我们通过将这些主题转化为三个可操作的监督条件来证实这一论点。
三、观察、检查、修改和欧盟 AI 法案
本文使用三个条件来探讨生成式人工智能系统监督机制的有效性：工业可观察性（Industrial Observability）、公众可检查性（Public Inspectability）和技术可修改性（Technical Modifiability）。根据经验，我们重点关注欧盟的人工智能法案（EU AI Act）来解释这些条件，该法案被广泛认为是其他国家的蓝图，因此是支持我们论点的特别突出的案例研究。
从本质上讲，《人工智能法案》依赖于基于风险的方法，其中一些人工智能技术被标记为构成“不可接受的风险”（例如面部识别软件），而其他技术则被视为“高风险”和“有限风险”。《人工智能法案》对高风险系统提出了严格的认证制度，对风险有限的人工智能系统提出了不太严格的透明度义务。被归类为构成不可接受风险的人工智能系统将被禁止。欧盟委员会于 2021 年 4 月提出的初步提案并未包含针对生成式人工智能系统的具体规定。在某种程度上，由于 ChatGPT 的发布，这种情况发生了变化。尽管在本文定稿时谈判仍在进行中，但欧洲议会于 2023 年 6 月共享的最新草案并未将生成式 AI 系统归类为高风险，并为生成式 AI 提供商提供了具体条款。这些要求包括但不限于“披露内容是由人工智能生成的”、“防止模型生成非法内容”和“发布用于培训的受版权保护数据的摘要”。
图1：工业可观测的生成式人工智能系统的组成部分。
工业可观测性：如何观测生成式人工智能系统？
为了使生成式人工智能系统作为物质实体接受监管，我们必须首先阐明其构成要素及其在更广泛的行业动态中的地位。如果没有对生成式人工智能系统的不同层（例如基础模型）如何适应平台生态系统以及它们与其他实体（例如作为基础设施提供商的平台）的关系进行实证分析，我们就无法将它们识别为监管对象。根据精确定义的技术参数和检测方法明确界定需要管理的内容至关重要。只有确定了具体内容之后，我们才能解决如何管理生成式人工智能系统的问题。
至关重要的是，在处理不断变化的生成式人工智能系统时，需要采用动态和过程性的观点，而不是依赖于静态或僵化的治理范畴。考虑到平台生活的分布和动态特性，它是从政策、设计选择和使用实践的相互作用中产生的，持续的观察需要超越法律和技术规范。因此，仅关注一个维度，比如像ChatGPT这样的高度可见的面向消费者的应用，将是不足够的。相反，观察的起点应该是承认生成式人工智能是一个复杂的关系，其中计算基础设施、基础模型和面向消费者的应用程序紧密相互交织在一起（见图1）。
通过平台化树（platformization tree）（Van Dijck，2021）来解释图1。在这棵树的顶部是面向消费者的人工智能应用（例如聊天机器人），它们在日常运行中依赖于它们下面的生成基础模型。基础模型充当树干，代表着资源密集型的计算过程，需要大量的处理能力。在树的根部是计算资源的提供者，例如云计算服务、数据中心容量和能源资源，用于运行模型。大型科技公司的云计算部门，如亚马逊网络服务、微软Azure和谷歌云平台，主导为基础模型提供计算基础设施。它们试图以最广泛的方式促进人工智能系统的采用，因为它们的功能支撑着基础模型以及建立在其上的面向消费者的应用程序。然而，大型科技公司也依赖于英伟达这样的算力芯片制造商。
尽管面向消费者的应用程序受到决策者和公众的最多关注，但基础模型的细致材料属性通常很少被报道。可以说，在形成这棵树的主干的模型的重要角色既不能与其分支（应用程序）分开，也不能与其物理根部（基础设施）分离，生成式人工智能系统的组成层次不能轻松地拆分。例如，面向消费者的应用程序和基础模型都在迅速发展，正如基于强化学习与人类反馈的ChatGPT的优化所示。尽管如此，在本文的其余部分，我们将基础模型单独作为生成式人工智能系统可检查和可修改的层。这一决定的原因在于欧盟的人工智能法案将“基础模型提供者”定义为需要监管的关键角色，并对其施加特定的透明度义务和技术修改，例如披露受版权法保护的培训数据集。
如何具体操作和执行这样的透明度义务是欧盟监管辩论的前沿问题。为了按照他们的利益影响人工智能法规，主导行业的基础模型提供者可以利用消费者的压力。例如，OpenAI的CEO Sam Altman曾提出，如果公司发现无法遵守欧盟人工智能法案，可能会考虑退出欧洲联盟的数字单一市场。
为了将基础模型纳入监管对象，需要考虑三个组成部分：神经网络架构、训练数据集和训练程序。公共辩论主要集中在训练数据集的作用上，主要是由于对版权问题和隐私侵犯的明显担忧。然而，神经网络架构和训练程序也是监管机制执行的重要组成部分。就神经网络架构而言，大多数基础模型依赖于由Google研究员于2017年提出的transformer架构。Google关于引入这一架构的重要论文是开源的，后来成为OpenAI构建其专有GPT模型的技术基础，而该模型现在是ChatGPT的基础。相对于开源版本，要使专有神经网络架构可观察是更具挑战性的。同样的警告也适用于为特定任务（例如对话使用）微调模型的训练程序，这些程序通常对监管机构来说难以理解。神经网络架构、训练数据集和训练程序远非仅仅受数学法则塑造，它们还受到基础模型开发者的经济动机和限制的复杂影响——以及它们在支持面向消费者的应用程序和依赖计算基础设施方面的作用（图1）。
从观察行业结构的宏观视角到对模型、数据和代码的逐位检查，下一节详细说明了监管机构需要使基础模型的哪些信息层次可检查。公共可检查性：如何审查生成式人工智能系统？
公开可检查条件引发了关于对外界窥视的开放性的问题。“可检查”意味着生成基础模型应该在最详细的网络参数和超参数保存级别上对深入的监管检查开放。“公开”意味着它们应被视为公共知识和共同财富的工具。因此，公开可检查性带来了一个两难问题，即基础模型是应该完全开放还是完全封闭。Solaiman（2023）区分了沿着两个极端之间的渐变的六个可检查性级别：完全封闭；逐步或分阶段访问；托管访问；基于云或API的访问；可下载访问；完全开放。完全封闭意味着生成式人工智能系统仍然被其开发者封闭，因此对监管机构和公众不可访问，而完全开放的选择意味着它们对公众完全开放。在这两个极端之间有几个其他细粒度的访问级别；开放性不是一个二元的问题。
然而，公开可检查性的条件比一个模型是封闭还是开放的问题更为复杂，因为在安全/安全和开放/民主控制的公共价值之间存在着微妙的平衡。公开可检查性还涉及对误导信息、操纵和未经授权使用信息源的检测（和控制）的担忧。在主张将开放性视为一个连续体的同时，我们试图抵消企业试图垄断决定哪些系统部分可供公众审查的权力。在半封闭或完全封闭模型的情况下，不透明度有时会表现为薄弱的透明度。例如，OpenAI和Meta先前发布的模型卡曾被学者以及政策制定者批评为严重——或许是故意——规范不足。
因此，公开可检查性的条件提出了一个微妙的问题：如何使生成式基础模型对谁以及出于什么目的可检查？这些模型的哪些精确方面/层次应该对专家（用于监管目的）进行可检查，哪些应该向公众开放？
如果我们将基础模型的监管与航空业的“公开可检查性”水平进行比较，我们可以看到不同层次的开放和可检查性适用于合格和获得认证的专家（例如，获得监管许可以控制和测试技术安全阀的监管机构）以及广大公众（例如，航空业需要发布发动机规格）。
为了详细阐述生成式基础模型可能成为公开可检查性和技术可修改性的对象的手段，必须了解它们的基础运作：什么信息对于检查是必要的？我们建议区分五个信息层次（表1）。
表1：关于生成式基础模型的五个可检查信息层。
本文认为，获取这五个层次的所有信息对于验证复制特定程序元素的可能性、评估人工智能生成的输出的完整性、促进微调并开展对这些模型的去偏见研究至关重要。为了实施强有力的技术保障措施，建议引入持有许可的外部专家进行模型审计，确保验证训练来源并检测偏见或仇恨内容。
公开可检查性的第二部分涉及将公共知识提取和转化为商业产品。如果由基础模型处理的文本数据——这些模型是使用公开可用且通常是公共资助的数据集进行训练的——导致共享知识的形成，那么在这些共同创建的数据集上训练的基础模型也应该对公众开放。然而，监管监督不应该仅限于观察或检查阶段；它需要分析民主价值观与技术变革的具体途径之间的关系。这正是技术可修改性的关注重点。
技术可修改性：如何修改生成式人工智能系统？
可修改性（modifiability）这个术语可以被定义为对对象进行基本或根本性的更改，以赋予新的方向或为新目的服务。因此，我们并不将这种可修改性视为一个目的，而更多地看作是实现更高级目标的手段：符合监管机制。因此，关键问题是：谁应该有权修改生成式人工智能系统的属性，以及为了达到什么目的？
例如，如果规范的目标是遏制生成式人工智能系统产生的虚假信息的传播，那么对技术修改的清晰审查就至关重要。在一些国家，水印技术在人工智能治理中并非是一种未来的推测性场景，而是一种已实施的现实。在这种情况下，强制性的水印技术被用作实施审查的手段。相比之下，在欧洲法规的背景下，基础模型的可修改性应该牢固地根植于民主价值观，包括开放性、隐私和自治。尽管在欧盟内确保使用强制性水印的规定在民主监管方面是相关的，但在决定如何使用水印技术时，像OpenAI或Google这样的主导公司不应该垄断共同生产。在涉及到对生成式人工智能系统进行共同责任的控制和修改时，我们需要在企业、政府和公民行为者之间确保适当的平衡，以实现民主监督。与上述有关基础模型的五个信息层次相一致，这些层次涉及到不同的可修改性模式和基本原理（表2）。
四、结论
在将生成式人工智能系统监管结构的研究基础放在其物质属性上，认为这些属性是固有可观察、可检查和可修改的监管对象后，第四个特征呈现出来：它们现在可以作为实体物品进行协商。本文详细说明了这些系统的特定组件如何被呈现为可观察的；关于它们的哪些信息层次可以被检查；以及它们如何可以被修改。这三个条件应该被看作是打开算法的不透明性，以便用作最终可能导致生成式人工智能系统强大监管共同生产的参考点。这种分层分类并不是终点；它可能在必要时进行细化，并且在经过讨论达成协议后可能导致共同标准。除了在谈判中起到作用之外，这三个条件还作为锚点，用于指导生成式人工智能治理的比较研究。在全球范围内，各国政府试图监管同一技术现象：生成式人工智能系统对社会、经济、文化和政治领域的渗透。但是，尽管这些技术的计算基础在不同背景下趋于一致，如大规模语言模型的广泛采用所示，监管方法存在明显的差异。为了系统地研究这种差异，值得借助高层次的治理条件。我们的框架表明，AIGC系统的提供者需要对达成的标准负责。实际上如何强制执行责任问题需要进一步研究。我们将基础模型确定为AIGC系统的可检查和可修改层，但显然，这些监管条件还需要应用于面向消费者的应用程序和计算基础设施。迫切需要进一步研究如何治理AIGC应用（例如，通过指定可检查的参数如提示日志和可修改的安全过滤器）以及人工智能基础设施（例如，通过指定可检查的参数来衡量生态影响，并通过可修改的特性来减轻这些影响）。人工智能系统可能看起来比其他技术更为复杂，但毫无理由相信它们不能受到管理。不论未来生成式人工智能系统将如何呈现给公众审查，对监管机制的研究都需要以它们的细致的物质属性为基础，而不是基于对人类将灭绝的臆想。关于AIGC系统如何调解权力的规范信仰对于它们如何被治理具有广泛的影响。如果我们将人工智能视为中立的存在，携带着存在风险，那么它们存在的权利将排除了民主谈判。有迫切需要驱散将人工智能系统视为不可避免地强加给社会的力量的误导观念，而应该认识到它们是可以观察、检查和修改的对象。只有这样，民主谈判才能成为不可避免地强加给生成式人工智能系统的力量。本文内容仅供参考，不代表Political理论志观点
“在看”给我一朵小黄花
