一、论文概述
（一）研究背景
在自然语言处理（NLP）领域，许多应用都依赖于高质量的标注数据，无论是用于训练分类器还是评估无监督模型的性能。长期以来，获取标注数据主要有两种策略：一是招募并培训专业注释员，如研究助理；二是依靠亚马逊Mechanical Turk（MTurk）等平台上的众包工作者。这两种方法各有优劣：专业注释员能产出高质量数据，但成本高昂；众包工作者成本较低且更灵活，但数据质量往往难以保证，尤其对于复杂任务或非英语语言任务而言。
近年来，大型语言模型（LLMs）展现出了强大的自然语言理解和生成能力，在多个领域取得了令人瞩目的成果。2022年11月发布的ChatGPT作为其中的代表，引发了广泛关注。然而，将LLMs应用于文本注释任务的系统性研究仍较为缺乏，尤其是在与传统众包注释方法的对比方面。
（二）研究问题
本研究旨在探讨大型语言模型，特别是ChatGPT，在文本注释任务中的表现，并将其与传统的众包注释方法（以MTurk工作者为代表）进行对比。具体研究问题包括：
- 在零样本学习（zero-shot）条件下，ChatGPT在多种文本注释任务（如相关性、立场、主题和框架检测）中的准确性如何？
- ChatGPT的注释者间一致性（intercoder agreement）与专业注释员和众包工作者相比表现如何？
- ChatGPT在不同类型文本（推文、新闻文章）和不同时间跨度的数据上的表现是否稳定？
（三）主要贡献
- 首次系统性评估：本研究是首次对ChatGPT在多种文本注释任务上的性能进行系统性评估的研究之一，为LLMs在文本注释领域的应用提供了重要的实证依据。
- 性能优势验证：通过对4个数据集（共6,183条推文和新闻文章）的实验，证明了ChatGPT在零样本条件下的注释准确性平均比MTurk众包工作者高出约25个百分点，且在所有任务上的注释者间一致性均超过了众包工作者和专业注释员。
- 成本效益分析：计算得出ChatGPT的每条注释成本低于0.003美元，约为MTurk的三十分之一，在保证高质量的同时显著降低了注释成本。
- 方法论创新：提出了将LLMs应用于文本注释任务的标准化流程，为未来相关研究提供了可借鉴的方法框架。
- 实践启示：研究结果表明LLMs有潜力彻底改变研究人员进行数据注释的方式，对MTurk等众包平台的商业模式构成了挑战，并为开发更高效的文本分类系统指明了方向。
二、方法与理论
（一）理论基础
大型语言模型（LLMs）：LLMs基于Transformer架构，通过在大规模文本语料库上进行预训练，学习到了丰富的语言知识和语义表示。ChatGPT作为GPT-3.5系列的模型，通过指令微调（Instruction Tuning）和人类反馈强化学习（RLHF）进一步提升了对各种自然语言任务的理解和执行能力。其零样本学习能力使其无需针对特定任务进行额外训练，即可直接应用于新的注释任务。
-
文本注释任务：文本注释是NLP中的基础任务，包括相关性判断、立场分析、主题识别和框架检测等。这些任务通常需要注释者根据特定的规则和指南，将文本分配到预定义的类别中。传统上，这些任务依赖于人工注释，但人工注释存在成本高、效率低、一致性难以保证等问题。
注释者间一致性（Intercoder Agreement）：是评估注释质量的重要指标，用于衡量不同注释者对同一文本进行注释时的一致性程度。高一致性通常意味着注释结果更可靠。常用的计算方法包括百分比一致性、Cohen's kappa系数等。本研究中使用百分比一致性来比较不同注释者群体的一致性水平。
（二）实验方法
数据集：本研究使用了四个数据集，涵盖了不同类型的文本和时间跨度：
- 推文（2020-2021）：从260万条关于内容 moderation的推文中随机抽取的2,382条。
- 美国国会议员推文（2017-2022）：从2000万条推文中随机抽取的1,856条。
- 新闻文章（2020-2021）：从98万篇通过LexisNexis收集的关于内容 moderation的文章中随机抽取的1,606篇。
- 推文（2023）：为解决ChatGPT可能依赖训练数据中包含的文本这一担忧，专门收集的2023年1月的500条推文（其中339条为英语）。
注释任务：定义了六种注释任务，涵盖了不同的语义层面：
- 相关性：判断推文是否与内容 moderation或政治相关。
- 立场检测：判断推文对美国互联网立法第230条的立场（支持保留、支持废除或中立）。
- 主题识别：将推文分配到六个预定义的主题（第230条、特朗普禁令、投诉、平台政策、Twitter支持和其他）。
- 框架检测：包括两种框架检测任务，一种是将推文分为将内容 moderation视为问题、解决方案或中立，另一种是将推文分配到十四个政策框架中的一个。
- 专业注释员：三名受过训练的政治学学生，使用相同的注释指南独立进行注释。
- 众包工作者：MTurk上的“MTurk Masters”，要求批准率超过90%，至少完成50个HIT，且位于美国。每个推文由两名不同的众包工作者注释。
- ChatGPT：使用gpt-3.5-turbo模型，通过API调用。为探索温度参数的影响，分别使用默认温度1和较低温度0.2进行注释。对于每个温度设置，收集两次响应以计算注释者间一致性，即每条推文获得四次ChatGPT响应。
提示工程（Prompt Engineering）：为确保ChatGPT和MTurk众包工作者的可比性，故意避免使用任何特定于ChatGPT的提示。采用的提示格式为：“这是我选择的推文，请将其标记为[任务特定指令（例如‘说明中的主题之一’）]。”每条推文单独输入，创建新的聊天会话以避免注释历史的影响。
- 准确性（Accuracy）：以专业注释员的注释为黄金标准，计算正确分类的百分比，仅考虑两位专业注释员一致同意的文本。
- 注释者间一致性：计算同一组注释者对同一推文分配相同标签的百分比。
三、实验与结果
（一）实验设计
本实验的核心设计是对比ChatGPT、MTurk众包工作者和专业注释员在相同注释任务上的表现。为确保实验的科学性和可重复性，采取了以下措施：
统一注释指南：使用为专业注释员开发的相同注释手册（Codebook）来指导ChatGPT和MTurk众包工作者的注释过程，确保任务定义的一致性。
控制变量：在ChatGPT实验中，仅调整温度参数（1和0.2），其他设置保持一致，以观察温度对注释结果的影响。
多轮注释：对于ChatGPT，每个温度设置下进行两次注释，共四次注释，以计算其内部一致性；对于MTurk和专业注释员，每条推文由两名不同的注释者注释，计算他们之间的一致性。
跨数据集验证：在四个不同的数据集上进行实验，包括不同类型的文本（推文、新闻文章）和不同的时间跨度（2017-2023），以验证结果的普遍性。
（二）数据集详情
（三）评估指标
准确性（Accuracy）：计算公式为正确分类数/总样本数×100%，以专业注释员的一致注释为黄金标准。
注释者间一致性（Intercoder Agreement）：计算公式为一致注释数/总样本数×100%，反映同一组注释者之间的一致性程度。
（四）主要实验结果
-
- 相关性任务：对于内容 moderation推文，准确性为70%；内容 moderation新闻文章为81%；美国国会推文为83%；2023年内容 moderation推文为59%。
- 立场检测任务：在对第230条的立场判断上，ChatGPT表现出了较高的准确性，具体数值未在文中详细列出，但明显优于MTurk。
- 主题识别任务：对于六个预定义主题的分类，ChatGPT的准确性高于MTurk，尤其是在区分主要主题（如第230条、特朗普禁令）和其他类别时表现更优。
- 框架检测任务：在将内容 moderation视为问题、解决方案或中立的框架检测中，ChatGPT的准确性较高；在十四个政策框架的分类中，由于类别较多，准确性相对较低，但仍优于MTurk。
- across the four datasets, ChatGPT's zero-shot accuracy outperforms MTurk for most tasks. On average, ChatGPT's accuracy exceeds that of MTurk by approximately 25 percentage points.
- ChatGPT的注释者间一致性显著高于MTurk和专业注释员。平均而言，MTurk的一致性约为56%，专业注释员为79%，ChatGPT在温度为1时为91%，温度为0.2时高达97%。
- 温度参数的影响：较低的温度（0.2）显著提高了ChatGPT的一致性，且未降低准确性，表明在注释任务中使用较低温度可能更优。
- ChatGPT的每条注释成本约为0.003美元，而MTurk的成本约为其30倍。这意味着使用ChatGPT进行大规模注释在成本上具有显著优势。
- 尽管在2023年的数据集上，ChatGPT在相关性任务中因提示中缺乏特定用户暂停的示例而出现了一些误分类，但总体而言，其表现 across different datasets 和 time periods 是稳定的，证明了其泛化能力。
- ChatGPT的准确性与专业注释员的注释者间一致性呈正相关（Pearson's r=0.46），表明对于较容易的任务（专业注释员一致性高），ChatGPT表现更好。
- 相反，ChatGPT相对于MTurk的优势与专业注释员的一致性呈负相关（Pearson's r=-0.37），暗示对于较复杂的任务（专业注释员一致性低），ChatGPT的优势更为明显。
（五）关键发现总结
ChatGPT在零样本条件下表现出色：无需针对特定任务进行训练，即可在多种文本注释任务中取得优于众包工作者的成绩，且接近甚至超过专业注释员的准确性。
一致性优势显著：ChatGPT的高注释者间一致性使其注释结果更加可靠，尤其是在使用较低温度时，一致性接近完美，这是人工注释难以达到的水平。
成本效益巨大：极低的注释成本使得使用ChatGPT进行大规模数据集的注释成为可能，为NLP研究和应用提供了更经济高效的数据获取方式。
对复杂任务优势更明显：在专业注释员也难以达成一致的复杂任务上，ChatGPT相对于众包工作者的优势更为突出，表明其在处理模糊和困难的注释任务时具有独特价值。
四、讨论与启示
（一）研究发现总结
本研究通过对四个数据集、多种注释任务的系统实验，证实了ChatGPT在文本注释任务中相对于传统众包方法的显著优势。主要发现包括：
性能优势：ChatGPT在准确性和注释者间一致性上均优于MTurk众包工作者，平均准确性高出约25个百分点，一致性高出35个百分点以上。
成本优势：每条注释成本低于0.003美元，约为MTurk的三十分之一，使得大规模高质量注释成为可能。
泛化能力：在不同类型的文本（推文、新闻文章）和不同时间跨度的数据上表现稳定，证明了其零样本学习能力的有效性。
任务适应性：对复杂任务（如多类别框架检测）的适应性更强，相对于众包工作者的优势更为明显。
（二）对NLP研究的启示
数据标注范式的变革：LLMs的引入可能彻底改变NLP研究中数据标注的范式，从依赖大量人工注释转向依赖LLMs辅助或完全自动化的标注，大大提高标注效率和降低成本。
模型训练数据的获取：高质量、低成本的标注数据获取方式为训练更强大的监督学习模型提供了可能，尤其是在低资源语言和复杂任务中。
注释标准的统一：LLMs的高一致性有助于统一注释标准，减少人工注释中的主观偏差，提高研究结果的可重复性和可比性。
新的研究方向：该研究开启了一系列新的研究方向，如LLMs在多语言注释中的表现、少样本学习在注释任务中的应用、半自动化标注系统的开发等。
（三）对实际应用的影响
-
学术研究：研究人员可以利用ChatGPT快速获取高质量的标注数据，加速研究进程，尤其是在资源有限的情况下。
工业应用：企业可以利用LLMs进行大规模文本分类和分析，如社交媒体监控、舆情分析、客服文本处理等，降低人工成本，提高效率。
众包平台：对MTurk等众包平台的商业模式构成了挑战，促使其寻找新的价值定位，如提供更复杂、LLMs难以处理的任务。
伦理与质量控制：随着LLMs在标注任务中的广泛应用，需要建立新的伦理框架和质量控制机制，确保标注结果的公正性和准确性。
（四）批判性分析
零样本学习的局限性：尽管ChatGPT在零样本条件下表现出色，但其性能仍依赖于预训练数据中是否包含相关知识。在2023年的数据集上，因特定示例的缺乏导致的误分类表明，当任务涉及新出现的概念或事件时，零样本学习可能需要结合少样本提示或其他微调方法。
对专业注释员的依赖：本研究中准确性的评估仍依赖于专业注释员的黄金标准，LLMs的注释结果是否能真正替代专业注释员在某些高风险任务（如法律文本注释、医疗文本分析）中的作用，仍需进一步验证。
提示工程的影响：本研究中使用的提示较为简单，更精细的提示工程（如链式思维提示）可能进一步提升ChatGPT的表现，但同时也增加了操作的复杂性和可重复性的挑战。
多语言能力的缺失：本研究仅关注英语文本，LLMs在非英语语言文本注释中的表现尚未得到充分探索，这可能是一个重要的局限性，尤其在全球化的应用场景中。
五、局限性与未来工作
（一）研究局限性
语言局限性：本研究仅使用英语文本进行实验，未涉及其他语言，无法确定ChatGPT在多语言注释任务中的表现。非英语语言的语法、语义和文化背景可能对LLMs的注释能力提出不同的挑战。
任务范围局限性：虽然涵盖了多种注释任务，但主要集中在内容 moderation和政治相关领域，对于其他领域（如科学文献注释、法律文本分类）的适用性尚未验证。
数据时间局限性：尽管包含了2023年的数据集，但数据跨度仍相对较短，无法完全排除ChatGPT依赖训练数据中历史文本的可能性。对于极新的事件或概念，LLMs的零样本学习能力可能受到限制。
评估指标局限性：仅使用准确性和注释者间一致性作为评估指标，未考虑其他因素如注释的可解释性、对边缘案例的处理能力等。在实际应用中，这些因素可能同样重要。
模型版本局限性：使用的是gpt-3.5-turbo模型，随着LLMs的快速发展，更新的模型（如GPT-4）可能表现更好，本研究的结果可能不适用于未来的模型。
