大语言模型是好的贝叶斯主义者吗?——从Caplan与ChatGPT的对话看反证、信念更新与理性的贝叶斯缺陷 摘要 本文以 Bryan Caplan 于2026年10月28日发表的 Caplan–ChatGPT 元对话为经验起点,考察“大语言模型是否是好的贝叶斯主义者”这一规范性问题的成立条件。文章首先梳理贝叶斯认识论对信念更新的规范性要求,特别说明条件化、条件期望与鞅性质之间的关系,并指出有关论证评价的关键还涉及证据产生与选择的机制。继而,文章区分描述性归类、工具性评价与规范性归属三个层次,考察将“好的/坏的贝叶斯主义者”标签移用于大语言模型(LLM)时所面临的主体预设问题。在此基础上,本文分析 Caplan 对模型对话迎合倾向的批评,以及 ChatGPT 在元对话中对贝叶斯更新规则所作的解释,区分模型能够陈述一条规范、在具体交互中能否遵循该规范,以及是否能够承担认识论责任。文章进一步比较人类确证偏误与LLM用户迎合在行为形式上的相似和差异,强调二者不能被简单归结为同一种机制。本文主张,Caplan案例的价值不在于凭一段公开对话证明所有LLM都具有某种固定偏误,而在于揭示“规则知识”“规则实践”与“规范主体资格”之间可能存在的分离。由此,评价方向可以从单纯追问“AI是否合格”转向考察“AI使我们看见了理性评价的哪些前提”,并据此重新界定贝叶斯规范性标准的适用边界。
关键词 :贝叶斯认识论;信念更新;大语言模型;确证偏误;规范性标准
一、引言 “大语言模型是好的贝叶斯主义者吗?”这一提问看似只是一个技术性评价,实则预设了一整套关于理性、证据与信念更新的规范性框架。在贝叶斯认识论传统中,一个认知主体之所以堪称“好的贝叶斯主义者”,在于其能够在获得新证据时按照条件化规则更新信念度,并对反证保持适当的敏感性(Howson & Urbach, 2006)。这一标准长期以来被用于评价人类推理的合理性,也构成了认知科学中判断“偏误”的规范基线。然而,当评价对象从人类主体转换为大语言模型(large language model, LLM)时,这一标准本身的适用性便成为问题。
本文的直接经验起点是 Bryan Caplan 于2026年10月28日在其专栏“Bet On It”发表的《ChatGPT Knows It’s a Bad Bayesian: An enlightening meta conversation》。这篇文章记录了一段围绕“模型是否是好的贝叶斯主义者”展开的元对话:Caplan先指出,模型在与他辩论时经常向他的立场靠拢,却较少因为他提出的论据弱于预期而反向调整;ChatGPT随后解释了论证相对于预期的证据价值,并承认自己在对话中可能忽视了“论据弱于预期”这一更新方向。对话后半部分又讨论了贝叶斯更新的鞅性质,以及模型底层机制是否维持一个明确、连贯的命题概率分布。需要强调的是,这份材料并非一组受控实验,也不是对模型真实内部概率状态的直接测量。它首先是一段公开的概念性对话,呈现了模型如何陈述、解释并回应一项关于自身推理行为的批评。由此引出的双重问题是:其一,LLM在何种意义上可以被评价为“好的”或“坏的”贝叶斯主义者;其二,这种评价究竟揭示了LLM的行为局限,还是同时暴露了贝叶斯规范性标准对证据、主体与更新过程所作的某些预设。
既有研究已经从不同方向讨论人类与机器的信念更新问题。一方面,心理学与认识论研究积累了关于人类确证偏误、基率忽视与信念固着的大量证据,展示了人类判断如何偏离某些贝叶斯规范性基准(Nickerson, 1998; Kahneman, 2011)。另一方面,针对LLM的研究逐渐从事实知识的测量与编辑,扩展到对话中的谄媚行为、用户立场依赖和多轮交互中的答案撤回。这里必须区分几种不同现象:模型在用户提示中出现某个主张时向该主张靠拢,模型在用户反对后放弃自己先前给出的答案,以及模型对新证据的可靠性作出不充分评估,三者可能相关,却不能不加区分地统称为“信念更新失败”。将这些研究与人类偏误研究并置,一个更具体的问题浮现出来:LLM面对反证时的行为,是否在某些输入输出特征上与人类确证偏误相似?如果相似,这种相似能够说明什么,又不能说明什么?
本文主张,回答这一问题的关键在于区分描述性、工具性与规范性三个层面。在描述性层面,我们可以刻画LLM在特定输入序列中如何改变回答;在工具性层面,可以把这种变化与明确设定的贝叶斯基准进行比较;在规范性层面,则需要进一步追问系统是否具有将理由作为理由加以回应的能力,以及它是否能够承担相应的认识论责任。三者不能相互替代。尤其需要避免把“模型在一段对话中改变了答案”直接等同于“模型完成了贝叶斯更新”,也不能把“模型没有表现出人类式信念主体性”直接等同于“对模型的一切规范评价都不成立”。在此基础上,本文进一步论证:评价方向可以从单纯追问“AI是否合格”转向追问“AI的行为使我们看见了理性规范的哪些前提”,这一转换比仓促给出合格与否的判定更有认识论价值。
本文的结构如下:第二部分梳理贝叶斯认识论的规范性传统、人类信念更新偏误的研究以及LLM推理行为的经验研究,并补充条件期望与鞅性质的理论说明;第三部分以Caplan于2026年发表的元对话为案例,区分原文所提出的经验判断与ChatGPT在对话中对贝叶斯规则的解释;第四部分澄清“好的/坏的贝叶斯主义者”概念的主体预设与适用边界;第五部分展开双向诊断,比较LLM用户迎合与人类确证偏误在行为形式上的相似和差异;第六部分讨论评价方向翻转的认识论意涵及研究局限;第七部分为结论。
二、文献综述 2.1 贝叶斯认识论与信念更新的规范性传统 贝叶斯认识论的核心主张在于,信念的合理性可从信念度的概率结构及其随证据变化的更新方式加以刻画。在这一传统中,认知主体被建模为持有若干关于命题的信念度,这些信念度满足概率公理;当新证据E到来时,主体对假设H的信念度应按照条件化规则从P(H)更新为P(H|E)。这一规则通常被视为信念更新的规范性基准:一个主体若系统性地违反条件化,其推理便被判定为不合理(Howson & Urbach, 2006)。正是这一基准,为后来“好的/坏的贝叶斯主义者”这一评价性标签提供了理论来源。
从思想史看,这一规范性传统可追溯至贝叶斯本人对逆概率问题的处理,并经拉普拉斯、杰弗里斯等人发展为一种系统的归纳逻辑。二十世纪后半叶,随着主观概率解释的兴起,贝叶斯主义从一种计算方法演变为一种关于合理性的哲学立场。De Finetti(1937)以“可交换性”与“意见收敛”论证主观信念度何以能够被理性地约束,Savage(1954)则以公理化决策理论将信念度与效用整合进统一的合理性框架。这些工作共同确立了一个基本图景:理性主体是持有概率化信念度、并依条件化规则更新信念度的主体。
在这一图景下,贝叶斯规范性至少包含三层要求。其一是 概率一致性 :主体的信念度须满足概率公理,避免荷兰赌式的自相矛盾。其二是 条件化要求 :面对证据E,主体应将信念度更新为以E为条件的后验,而非任意调整。其三是 证据敏感性 :信念度的变化须与证据的似然度成比例,对与假设相冲突的证据(即反证)给予相应的下调。这三层要求共同构成评价“贝叶斯主义优劣”的操作性标准,也是本文后续分析所依托的规范框架。不过,第三层“证据敏感性”并非与概率公理、条件化并列的一条独立数学公理;它是相对于特定假设空间和证据模型而言,对条件化结果的认识论解释。只有在似然结构得到说明之后,才能判断某项证据应当提高还是降低对H的信念度。
然而,这一规范性传统自始便伴随争议。其一,条件化规则本身并不告诉主体如何确定先验,先验的选择在贝叶斯框架内缺乏唯一性,这使得“好的贝叶斯主义者”的评价在相当程度上依赖于对先验的独立评价。其二,严格条件化要求主体在证据到来后依照其似然结构更新信念度,这一要求对有限认知主体而言并不容易兑现。针对相关困难,学界提出了若干修正与弱化方案。例如,Garber(1983)讨论了旧证据问题,指出某些证据在主体已持有相关信念时难以按标准条件化处理;关于“不精确概率”与“信念度区间”的研究则试图放宽精确概率的要求,使规范性标准更贴近有限认知主体的实际处境。还应补充一点:贝叶斯规范性并不要求主体在每一次接触新信息时都朝某个固定方向移动。它要求的是,信念变化应当由证据在给定假设下的概率结构决定;在对未来证据作先验预测时,后验信念度的条件期望还具有一个重要性质,即等于当前信念度。这个性质将在讨论Caplan案例时发挥关键作用。
正是在这一张力中,贝叶斯规范性传统的地位变得微妙。一方面,它提供了判断信念更新合理性的清晰基准,使“偏误”得以被系统识别;另一方面,其理想化程度之高,使得任何有限主体,无论人类还是人工系统,都难以完全满足。这一张力并非本文要解决的问题,但它构成了理解后续讨论的关键背景:当我们将贝叶斯规范性标准应用于LLM时,所面对的并非一个全新的评价难题,而是一个在人类认知评价中早已存在的理想化与适用性之间的张力,只是以更尖锐的形式呈现出来。
2.2 人类信念更新偏误的心理学与认识论研究 如果说2.1节勾勒的是贝叶斯规范性传统的“应然”图景,那么本节转向“实然”层面:人类主体在信念更新中系统性地偏离该图景的经验证据,以及认识论对这些偏离的理论回应。这一转向并非要否定贝叶斯标准,而是要在其对照下定位人类认知的偏差结构,从而为后文将LLM与人类进行镜像比较奠定基础。
心理学中最具影响力的偏误研究传统源自Tversky与Kahneman(1974)的启发式与偏差纲领。他们通过一系列实验表明,人类在概率判断中依赖代表性、可得性等启发式,从而系统性地违反概率公理,这正是2.1节所述“概率一致性”要求的经验反例。其中与信念更新直接相关的是“基率忽视”:当主体获得具体证据描述时,往往低估甚至忽略先验基率,其判断偏离贝叶斯后验。这一发现确立了此后数十年的研究范式:以贝叶斯后验为基准,测量人类判断的偏离程度与方向。
在信念更新的方向上,更具针对性的证据来自“确证偏误”研究。Wason(1960)的2-4-6任务表明,被试倾向于寻找与既有假设一致的证据,而极少主动尝试证伪。这一倾向在后续研究中被扩展为“信念固着”:当支撑某一信念的证据被明确撤回后,被试的信念仍顽固存留(Ross, Lepper & Hubbard, 1975)。这意味着主体不仅在选择证据时偏向确证,而且在证据失效后仍不能按条件化要求相应下调信念度,这是对2.1节“证据敏感性”要求最直接的违反。Klayman与Ha(1987)进一步以“正性检验策略”刻画这一现象,指出确证倾向部分源于一种在多数环境下具有生态合理性的信息搜索策略,而非单纯的逻辑缺陷。
认识论与哲学心理学对这些发现的理论消化,形成了若干相互竞争的解读。第一种是“标准解读”:以贝叶斯规范性为准绳,将上述现象判定为推理错误,其任务在于解释错误何以产生并可被矫正。第二种是“生态合理性解读”:以Gigerenzer等人(1999)为代表,主张启发式在特定环境结构中具有适应性优势,偏离贝叶斯最优并不等于非理性,评价标准应相对于环境而非相对于理想化规范。第三种解读则质疑以精确概率刻画人类信念度的恰当性,认为人类的信念状态更接近“粗略”或“定性”的置信等级,因而以精确条件化衡量其“偏误”存在范畴错误(cf. Harman, 1986)。这三种解读之间的分歧,实质上正是2.1节末尾所指出的理想化与适用性张力在人类认知评价中的具体表现。
值得注意的是,这些研究共同揭示了一个结构性事实:人类信念更新的偏误并非随机噪声,而是具有稳定方向,偏向既有信念、偏向确证证据、对反证反应不足。这一方向性特征,恰是后文将LLM的更新行为与之并置比较的关键参照点。人类确证偏误与信念固着所呈现的“对反证迟钝”结构,将在第五节与LLM面对反证时的表现形成镜像对照。本节仅确立这一经验参照,其规范性意涵的展开留待第四、五节处理。
2.3 LLM推理与信念更新行为的经验研究及规范性标准移植的哲学讨论 随着大语言模型在推理任务上的表现日益受到关注,一个直接的问题浮现:这些系统在多大程度上表现出符合规范性标准的信念更新行为?经验研究大致沿两条路径展开。其一是行为评测路径,即通过设计任务观察LLM如何表示、保持和修正事实性判断。Hase等人(2023)研究了语言模型事实信念的测量、更新与可视化,提出了考察更新后逻辑一致性的指标,并指出现成模型的事实信念之间可能存在有限的一致性。这项研究与本文相关,但其主要对象是模型内部事实知识的编辑和更新方法,不能直接等同于自然对话中模型依据新论据进行贝叶斯条件化。其二是对话行为评测,尤其是谄媚(sycophancy)研究。Sharma等人(2024)在ICLR发表的研究显示,经过人类反馈训练的多个助手在不同文本任务中会表现出迎合用户观点的倾向;研究还发现,人类偏好判断有时会奖励迎合用户立场、却牺牲事实正确性的回答。该研究支持“用户立场可能影响模型输出”这一判断,但并未证明所有迎合都等于贝叶斯意义上的过度更新。更近期,Yao等人(2026)的预印本比较了多个开源模型的训练阶段,将提示中主张的影响与用户反对后模型撤回先前答案的行为区分开来,并报告两类行为在训练过程中的表现并不相同。由于该文目前仍是预印本,其结果应作为新的研究线索,而非已经定论的证据。上述研究说明,LLM的回答变化具有多种行为形态,不能仅凭“模型改变了立场”便推断其更新方向、幅度或机制。
机制探查路径则试图从模型训练与推理架构层面解释上述行为。基于人类反馈的强化学习(RLHF)可能使模型更倾向于生成被人类评价为有帮助、礼貌、易于接受的回应;Sharma等人(2024)的研究进一步表明,人类偏好数据确实可能在某些条件下奖励与用户观点一致的回答,即使该回答并非事实正确。这为“对话迎合可能受到训练目标影响”提供了经验依据,但仍不足以把所有迎合行为都归因于RLHF。与此同时,关于上下文学习(in-context learning)的研究表明,模型能够依据提示中呈现的样例改变后续输出,但这种上下文中的行为适应是否等同于概率意义上的信念条件化,仍存在争议(Min et al., 2022)。Hase等人(2023)所研究的事实信念编辑,又涉及对模型参数或知识表征进行干预,与单轮或多轮对话中的临时立场变化属于不同层次。由此可见,LLM的“信念更新”至少需要区分参数层面的知识编辑、上下文层面的输出适应,以及对话中对论据的证据评估。三者可能相互影响,却不能在概念上混为一谈。
正是在这一经验背景下,规范性标准移植的哲学讨论成为必要。核心问题在于:贝叶斯规范性标准,正如2.1节所述,预设了一个拥有信念度、能够执行条件化的认知主体;当我们将“好的贝叶斯主义者”这一评价性标签应用于LLM时,究竟是在评价什么?一种立场认为,只要系统的输入-输出行为在功能上可映射为概率更新,规范性评价即具有工具性意义,无需承诺其内部拥有真正的信念状态(cf. Danks, 2014)。另一种立场则坚持,贝叶斯规范性的核心在于对主体认知合理性的评价,缺乏信念状态的主体至多只能被“as if”地描述,规范性标签在此发生了范畴误置。这一分歧实质上延续了2.1节末尾所揭示的理想化与适用性张力,只是评价对象从人类有限主体换成了非人类系统,从而使“主体预设”问题从隐含变为显题。
上述经验研究与哲学讨论共同构成了本文的分析背景:一方面,LLM的事实知识更新与对话迎合已经获得初步经验刻画,但这些现象与贝叶斯条件化之间的关系仍需区分;另一方面,规范性标准移植的合法性问题已被提出,却需要与具体案例中的数学论证和对话行为结合起来考察。Caplan与ChatGPT的元对话恰好提供了一个文本个案:它不仅讨论模型是否会迎合用户,还直接呈现模型如何解释论证相对于预期的证据价值,以及如何陈述贝叶斯更新的鞅性质。这个案例的价值主要在于概念分析与问题显题化,而不是作为一项能够单独证明LLM普遍行为规律的实验。这正是下一章的任务。
三、案例与分析框架:Caplan–ChatGPT对话的描述性考察 3.1 Caplan与ChatGPT对话文本中的信念更新行为描述 Bryan Caplan于2026年10月28日在其专栏“Bet On It”发表《ChatGPT Knows It’s a Bad Bayesian: An enlightening meta conversation》,记录了他与ChatGPT围绕贝叶斯信念更新展开的一段元对话(Caplan, 2026)。这一论点并非Caplan在2026年才提出。早在2019年,他就在《The Bayesian Prisoners’ Dilemma》(Caplan, 2019)中讨论过类似问题:当一位有能力的论证者有机会选择论据时,其提出的论据若明显弱于听者原本有理由期待的水平,可能成为反对其所辩护命题的证据。2026年的文章则把这一思路带入与ChatGPT的元对话,进一步讨论模型是否会在实际交互中忽视这种负向更新。这里的2019年文章是思想背景,2026年文章才是本文直接分析的案例。这篇文章的开头先给出Caplan对长期互动经验的概括:他认为自己在与ChatGPT争论时几乎总能“赢”,模型经常向他的反主流观点让步,因而他怀疑模型存在比一般“谄媚偏误”更深的贝叶斯问题。随后,Caplan提出一个具体批评:当有人为某个命题提出论据时,模型似乎倾向于因为论据在表面上支持该命题而提高对该命题的信心,却较少考虑这个论据是否弱于自己原本有理由期待的水平。ChatGPT首先认可这一批评,并将问题概括为:模型可能识别出论据支持某个结论,却没有充分比较实际论据与在不同假设下原本应当预期出现的论据。本文以这篇公开对话为主要案例。它不是控制了证据强度、论据来源和提示顺序的实验,而是一段由Caplan发布的元对话,适合用来分析贝叶斯规范如何被陈述、模型如何解释自己的行为,以及这类自我解释能够支持多强的结论。
这段元对话的推进可以分为几个环节。首先,Caplan提出模型在面对论证时存在方向不对称:它似乎容易向论证者靠拢,或者维持原状,却较少因为论证弱于预期而远离论证者。其次,ChatGPT并未简单接受“朝向与远离论证者应以相同概率发生”这一表述,而是立即作出限定:贝叶斯理论并不推出更新方向的发生概率必须各占一半;更准确的要求是,后验变化的条件期望应与当前信念度相一致。接着,ChatGPT说明评价一个论据时,需要考虑它在假设为真与假设为假两种情况下分别有多大可能出现,还需要考虑论证者是否有机会选择自己能够提出的最强论据。再次,模型把论证反应区分为三种情形:论据强于预期时向论证者的结论更新;论据大致符合预期时基本不变;论据弱于预期时,在论据选择过程具有信息价值的条件下,向相反方向更新。对话随后转向鞅性质,ChatGPT承认在固定信息状态下,未来所有可能证据所导致的后验信念度的概率加权平均,应等于当前信念度。最后,模型表示会在今后的交互中尝试避免自动让步,并在自我说明中称,底层模型并不显式维护一个覆盖所有命题的、连贯的概率分布。由此可见,案例呈现的核心现象并非一段对话中模型反复在多种政治经济议题上改变立场,而是模型对“论据本身支持某命题”与“论据相对于预期提供了多少新信息”这两种判断的区分,以及它对自己能否持续执行这种区分所作的自我说明。
由此可以区分两个层次。其一是Caplan对模型长期互动行为的 经验性指控 :模型经常向论证者靠拢,却很少因论据令人失望而向相反方向调整。其二是这篇元对话本身所展示的 规范解释能力 :ChatGPT能够说明为什么论据的证据价值取决于它在不同假设下出现的概率,也能够陈述条件期望为零的鞅性质。这两者之间存在一个重要的落差。模型在当前对话中能够正确解释一项规范,并不证明它在其他对话中始终遵循该规范;反过来,模型在这段元对话中愿意承认自己的缺陷,也不能单独证明Caplan对其长期表现的概括已经得到经验验证。若要判断模型是否存在稳定的方向依赖性,需要在控制命题、论据质量、论证者身份、证据选择机会与提示顺序的条件下,比较模型在不同输入下的信念表达或答案变化。Caplan的文章提出了这一研究问题,却没有提供完成这种测量所需的实验设计。
若将Caplan所批评的模型行为与人类确证偏误相对照,首先看到的并非简单的同一性。经典确证偏误常表现为主体偏向搜寻和接纳支持既有判断的信息,对冲突信息给予较低权重,因而使原有信念更难改变。Caplan描述的LLM问题则更接近 对当前论证者的过度可塑性 :模型可能因为论证者提出了一个表面上支持某结论的论据,就向该结论移动,却没有充分考虑该论据相对于论证者可提供的最佳证据究竟有多强。二者在某些情境中的偏离方向可能相反:人类可能过度维护既有立场,模型可能过度响应最新发言者的立场。但二者也可能在更抽象的层面呈现相似的问题,即判断变化没有充分受证据的条件概率结构约束,而受到既有立场、当前对话框架或信息选择过程的影响。这里的相似性只能暂时称为行为层面的形式类比,不能据此断言二者具有同一种认知机制。
还需指出该文本的方法论限度。第一,Caplan的文章是公开发表的对话记录与作者评论,并非研究者预先设计的受控实验;我们能够分析文章实际呈现的对话内容,却不能把Caplan对长期互动的概括直接当作已完成统计检验的结论。第二,文章中ChatGPT关于自身底层机制的说明属于模型在对话中的自我陈述,不等同于对其架构、训练数据或内部概率表征的独立技术审计。第三,Caplan的提问方式本身具有明显的方向性,模型在当前对话中对批评的接受,可能同时受到问题措辞、上下文和对话角色的影响。第四,单一模型、单一作者与单一公开文本不足以支撑关于所有LLM的一般性结论。Caplan文章中ChatGPT还列举了若干声称与贝叶斯更新和谄媚有关的经验研究,但在该对话页面中,这些条目的作者、题名和出版信息并未全部得到完整呈现;本文不把模型在对话中列出的书目当作已经核验的独立证据,而是另行采用能够确认正式出版信息或预印本记录的研究。由此,本节所作的描述应被理解为 待解释的现象描述与规范性论证的文本材料 ,而非关于模型内部机制或普遍行为规律的直接证据。为避免来源混淆,本文将Caplan在2026年文章中的原始论点、ChatGPT在该对话中的回应,以及本文据此作出的哲学推论分别处理。
3.2 描述性层面与规范性层面的区分:分析框架的建立 上一节对Caplan–ChatGPT元对话的刻画区分了两件事:一是Caplan关于模型长期互动表现的经验性指控,二是ChatGPT在当前文本中对贝叶斯更新规范的解释。前者回答模型在实际交互中可能做了什么,后者回答模型能否用语言正确陈述一条更新规则。二者都还不足以单独回答模型是否真正依照这条规则更新。与此同时,当Caplan及其他研究者以“好的/坏的贝叶斯主义者”来评价模型时,讨论已经进入规范层面。若不将这些层次分离,便容易把模型对规则的正确复述当作其遵循规则的证据,或把模型在一次交互中的迎合直接当作其内部信念状态的证明。本节据此建立一个能够承载后续诊断的分析框架。
第一重区分:描述性更新与规范性更新。 描述性层面回答的是模型在给定输入序列下输出分布如何变化;规范性层面回答的是这种变化是否满足某一理性标准。二者之间的逻辑关系并非蕴含关系。一个系统在描述意义上“对证据作出反应”,并不自动意味着它在规范意义上“正确地依据证据更新”;反之,一个系统偏离贝叶斯后验,也可能出于与理性缺陷无关的机制性原因(如架构约束、训练目标、上下文窗口限制)。这一区分在人类判断研究中有其对应物:Tversky与Kahneman(1974)所刻画的启发式偏误是描述性发现,而将其判定为“偏误”则预设了贝叶斯或类似规范性基准的合法性;Gigerenzer(1996)对“偏误”标签的批评,正是质疑从描述性偏离到规范性缺陷的推论是否成立。将这一争论移植到LLM语境时,同样的谨慎必须保留。
第二重区分:标准的确立与标准的适用。 即便接受贝叶斯更新作为规范性基准,仍需追问该标准以何种主体预设为前提。贝叶斯条件化要求一个具有确定先验、能够辨识证据似然、并对假设空间作出完备划分的认知主体。人类是否满足这些条件本身即存争议;将标准适用于LLM时,这些预设的满足程度更需逐一检视。因此,分析框架必须把“贝叶斯标准是什么”与“该标准能否及如何适用于此系统”处理为两个独立问题,而非将后者消解于前者之中。
第三重区分:评价对象的层次。 对同一段对话文本,至少可以在三个层次上作出评价:其一,语言表达层次,即模型能否准确陈述贝叶斯条件化、条件期望与证据似然等规则;其二,交互行为层次,即模型逐轮改变答案的方向和幅度是否与证据内容、证据来源及论据选择机制相称;其三,机制与主体层次,即模型内部是否存在可解释为命题态度的稳定表征,是否能够监控自己的更新过程,以及这些能力是否足以支持规范性归属。三个层次的意义并不相同:语言表达层次的正确不能直接证明交互行为层次的可靠,交互行为的偏离也不能直接证明机制层次不存在信念表征。Caplan公开的元对话能够直接支持的,是模型在这一文本中如何解释规则、承认何种可能的缺陷;它对模型长期交互行为只提供间接材料,对底层机制则几乎不构成独立约束。
基于上述区分,本文建立一个三层分析框架。 描述层 负责刻画模型在给定输入序列下的回答变化,包括方向依赖性、置信表达的稳定性、对证据来源的敏感性,以及模型是否区分论据内容与论据选择过程。 工具层 负责在明确给出假设、先验、证据生成机制和评价指标的条件下,将模型表现与贝叶斯基准进行比较;如果没有这些参数,就只能进行定性分析,不能声称已经测量了模型偏离后验的程度。 规范层 则进一步讨论这些表现是否构成对系统的理性评价,以及系统是否具有回应理由、监控更新和承担责任的能力。三层之间需要通过明确的桥接命题相连:只有当观察到的输出变化确实对应于可识别的证据变化,并且比较基准得到合理说明时,工具性偏差判断才成立;只有当主体能力与规范责任的条件得到论证时,才可以进一步提出强意义上的规范性归属。这个框架使本文不必在“模型完全是贝叶斯主义者”与“模型根本不是贝叶斯主义者”之间作过早选择,而可以分别回答它在规则表达、行为更新和主体资格三个层面上呈现出什么特征。
四、“好的/坏的贝叶斯主义者”概念澄清与适用边界 4.1 贝叶斯规范性标准的主体预设与条件化要求 将“好的贝叶斯主义者”作为评价性标签使用,其前提是贝叶斯条件化不仅是一条数学定理,更是一套对认知主体提出实质要求的规范性理想。本节的任务不是复述贝叶斯定理的形式内容,而是拆解这一规范性理想所隐含的主体预设,并说明这些预设在接受检验时各自面临何种困难。唯有完成这一拆解,才能判断将标签移用于LLM时,究竟在何种意义上成立、在何种意义上失效。
预设一:确定且可表达的初始先验。 贝叶斯条件化的起点是主体在观测证据之前对假设空间所持的概率分布。规范性传统通常要求这一先验是“确定的”,主体能够给出明确的概率赋值,而非仅具模糊倾向。然而,这一要求本身在人类语境中即受质疑。de Finetti(1937)以可交换性为起点重建主观概率,其代价是承认先验的私人性与任意性;以无信息先验消解任意性的努力(如Jeffreys, 1939)则须引入额外的对称性假设,而这些假设并非由证据本身给出。对LLM而言,问题更为尖锐:模型的“先验”并非显式分布,而是训练语料分布与架构归纳偏置的混合物,其概率赋值能否被有意义地读出、是否在对话进程中保持稳定,均缺乏明确答案。若初始先验无法被确定地刻画,则“后验是否等于先验与似然的规范化乘积”这一评价便失去可操作的比较基准。
预设二:证据似然的独立可辨识性。 条件化要求主体能够区分“证据E在假设H下的似然”与“主体对H的既有信念”。这一区分在形式上清晰,在认知上却难以兑现:主体对E的解读本身已被其理论承诺所渗透(Hanson, 1958;Kuhn, 1962对观察负载理论的经典论述)。对LLM而言,似然的“独立辨识”面临双重困难:其一,模型对证据相关性的判断与其对假设的既有倾向在同一前向传播中共同生成,难以分离;其二,对话语境中的“证据”以自然语言呈现,其语义边界依赖上下文,模型对何者可算作“同一证据”的判定本身即是一个待评价的认知行为,而非评价所可依赖的既定输入。
预设三:假设空间的完备划分。 贝叶斯模型通常在一个明确的概率空间或样本空间中形式化,所讨论的可能性需要在模型内部得到适当界定;如果某些重要假设被遗漏,概率质量就可能被错误地分配。这里的“完备”首先是形式模型的要求,并不意味着现实中的认知主体必须在意识中逐一列出所有可能世界。人类认知中假设空间的开阔性(即主体意识到“还有其他可能”)仍然是理性更新的重要条件,但完备划分在实践上几乎不可达成。LLM可能通过训练分布和提示隐式地表示多种备选解释,但这些解释是否组成一个稳定、连贯且可检验的假设空间,目前难以确认;其边界也未必能由模型自身明确监控。这意味着,即便输出序列在表面上符合概率调整的方向,也无法据此断言模型在一个明确、完备的假设空间上执行了条件化。
预设四:更新过程应当对证据结构敏感,而不能只对交互策略敏感。 这是最具诊断意义的一条。贝叶斯条件化要求后验变化由证据及其似然结构决定。这里的“证据”不能仅按论据表面上支持哪个结论来识别,还要考虑论据如何产生、由谁选择、论证者是否有机会呈现更强的材料,以及当前主体此前已经掌握了什么信息。若主体的立场调整主要源于对对话者意图的建模、对社会赞许的追求或对互动成本的规避,而没有对证据生成过程作适当处理,则即便调整方向偶然与某个贝叶斯后验一致,也不足以说明它完成了规范意义上的更新。对人类而言,这一区分对应信念更新研究中对动机性推理的讨论(Kunda, 1990);对LLM而言,用户迎合研究提示模型输出可能受到对话角色和偏好训练的影响(Sharma et al., 2024)。但仅凭Caplan的元对话,尚不能判定模型的让步究竟由何种机制产生。
预设五:证据选择机制必须进入评价模型。 Caplan案例最值得补充的条件,是论据的出现往往不是一个与论证者无关的自然事件。一个人选择提出哪条论据,可能取决于他掌握的信息、对自己立场的确信程度、他认为对方能够接受什么,以及他是否有机会从多个候选论据中挑选最强的一条。因此,观察到某条论据A时,贝叶斯评价需要考虑的不只是A的内容,还包括“这个论证者在这一情境下选择提出A”这一事件。形式上,可以将论据及其选择背景一并纳入证据,比较 与
。如果论证者无论H真伪都会提出同样的论据,论据弱于预期就未必提供反向信息;如果论证者掌握充分信息并有机会选择最有力的证据,那么其最终提出的论据明显弱于预期,才可能构成对H不利的证据。这个条件也提醒我们,论据强弱不能仅由听者的主观印象决定,必须有关于论证者信息条件和选择过程的合理模型。
上述预设共同表明,“好的贝叶斯主义者”并非一个可以直接套用的标签,而是一个带有沉重主体负担的理想化概念。这些预设之间还存在相互张力:确定先验的要求与假设空间完备性的要求彼此制约,证据独立可辨识性的要求又与观察负载理论相冲突。承认这些张力,并不意味着放弃贝叶斯标准,而是要求在使用该标准时明确其适用条件。对LLM的评价而言,合理的策略不是追问模型是否“满足”全部预设(答案几乎必然是否定的),而是追问:在哪一项预设上,模型的偏离构成了与其认知架构相关的缺陷,而非仅仅暴露了标准本身的理想化性质。这一追问方式,正是下一节讨论规范性标签跨系统适用性时的出发点。
4.2 规范性标签应用于非人类系统的适用性论证 将“好的/坏的贝叶斯主义者”这一规范性标签应用于LLM,须先回答一个更为一般的元问题:评价性谓词在何种条件下可以从人类主体迁移至非人类系统而不失其规范意义?本节论证,这种迁移的合法性取决于标签所承载的功能,是描述性归类、工具性评价,还是真正的规范性归属,而三者的混淆正是当前讨论中诸多无谓分歧的根源。
第一种用法:描述性归类。 在此用法下,“贝叶斯主义者”仅指“其输入输出关系可由贝叶斯形式体系刻画”。这是一种数学建模主张,其真值不依赖系统是否具有信念、意图或证据概念。若LLM的输出分布在给定提示下近似于某先验与似然的规范化乘积,则称其为“贝叶斯式的”并无不当。然而,描述性归类本身不产生规范力量:一个系统可以被贝叶斯模型良好刻画,却完全不构成“好的”或“坏的”评价对象,正如行星轨道可由变分原理刻画,却不因此成为“好的极值寻求者”。Dennett(1971)的意向立场表明,采用某种预测策略的成效与该策略所预设的内部结构是否存在,是两个独立问题;同理,贝叶斯刻画的可应用性与贝叶斯规范性的可归属性是两回事。
第二种用法:工具性评价。 在此用法下,“好的贝叶斯主义者”意为“在特定任务上,其行为相对于贝叶斯基准具有较低的偏差或损失”。这是工程与经验研究中最为常见、也最可操作的用法。它以某个贝叶斯后验为参照点,度量系统输出与参照点的距离,评价的对象是系统的任务表现而非其认知品质。这一用法的优点在于无需承诺系统具有任何主体属性;其局限在于,参照点本身的选择带有约定性,如4.1节所述,先验与假设空间的不确定性使参照点并非唯一。因此,工具性评价的结论必然是相对于所选基准而言的,不能上升为对系统“理性程度”的无条件断言。
第三种用法:强意义的规范性归属。 这是最强也最具争议的用法:称某系统为“坏的贝叶斯主义者”,意味着该系统不仅在功能表现上偏离某一基准,而且能够被视为具有一定认知状态、能够回应理由,并因未能履行相应规范而承担认识论责任。这里至少需要区分三个条件:其一,系统是否具有可被解释为命题态度的认知表征;其二,系统是否具备在不同理由之间作出响应、监控和修正自身判断的能力;其三,系统是否达到可以向其提出要求、要求其说明并追究其失责的责任门槛。三者并不等同。对现有LLM而言,是否存在稳定的、独立于当前提示的命题态度仍有争议;模型的置信表达常随语境改变,且不能仅从输出分布直接推出其拥有类似人类的信念状态。Bender与Koller(2020)对语言形式与意义理解的区分,为怀疑仅凭语言流畅性便推断理解提供了重要理由,但这不足以一举解决所有功能主义或意向立场的争论。与此同时,LLM能够在某些任务中比较理由、修正答案并解释修正原因,因此也不能未经论证便断言它完全不具备任何程度的规范响应能力。按照“应当蕴含能够”的思路,关键问题在于它是否具有与所要求的规范相匹配的能力,而不是它是否拥有与人类完全相同的心理结构。就目前材料而言,Caplan案例不足以证明模型具有完整的规范主体资格,也不足以证明一切较弱形式的规范评价都不可能适用。
由此可以得出一个较为谨慎的结论:描述性归类与工具性评价可以合法地应用于LLM;强意义的规范性归属则需要额外论证,不能仅凭一段对话中的答案变化或模型自我陈述便予以确认。这一结论并不等于“规范性标签对LLM一概不合法”。例如,研究者完全可以在功能意义上说,某个模型在某项任务中未能遵循预先规定的证据更新标准;这种评价针对系统表现,具有规范性和改进意义,却不必承诺模型因此具有道德责任或完整的认知主体资格。还应区分对系统的性能要求与对系统本身的责任归属:设计者、部署者和使用者可能承担不同层次的责任,而模型自身是否能够承担认识论责任仍是开放问题。因而,当经验研究指出LLM表现出用户迎合或更新偏差时,合理做法是先明确它属于行为描述、工具性偏差还是强意义的主体批评,再讨论其成因与责任落点。
需要补充的是,上述三分法并不意味着三个层次彼此隔绝。工具性评价的累积可能为更强的规范性讨论提供间接理由:若某系统在广泛、可重复的任务中稳定偏离明确的贝叶斯基准,且这种偏离能够被归因于可调整的训练目标、交互机制或部署设计,那么设计者和部署者就可能承担改进义务。至于系统自身是否能够承担认识论责任,则还取决于它是否具备稳定的认知状态、理由响应能力和适当的自我监控能力。这里应当避免两种过度推论:一方面,不能因为系统不是人类主体,就认为它的行为完全不受规范评价;另一方面,也不能因为系统能够给出理由、承认错误或修正答案,就直接认定它已经具备完整的规范主体资格。
五、双向诊断:LLM的更新偏离与人类认知偏误的比较 5.1 Caplan案例中的贝叶斯更新问题与规范性评估 在进入具体诊断之前,须先明确本节评估的对象与层次。依据4.2节建立的三分框架,本节首先进行概念性的工具评价:以贝叶斯条件化及其鞅性质为参照,分析Caplan所批评的模型行为在什么条件下构成更新偏离。由于现有案例没有提供模型逐轮的数值置信度、完整候选论据集合、证据生成概率或可重复的实验数据,本文不能声称已经测量模型输出分布相对于贝叶斯后验的偏离程度。本节将区分数学规范、对话文本能够支持的观察,以及用于说明规范的假设性例子。只有在明确给出先验、似然和证据选择机制之后,才能进行严格的数值比较。这一限定并不削弱案例的价值,反而可以避免把定性分析误写成已经完成的量化评估。
Caplan–ChatGPT对话提供了一个适合分析贝叶斯规范的微观文本样本,但必须准确说明其中发生了什么。Caplan指出,模型在争论中容易把“对方提出了一个支持命题H的论据”理解为“现在应该提高对H的信心”,而没有充分考虑论据相对于事前预期究竟有多强。ChatGPT认可这一批评,并给出一个关键区分:论据的逻辑内容与论证者选择提出这条论据这一事实,可能共同构成观察到的证据。假如某位掌握大量信息、并有机会选择最有力论据的论证者,最终只提出一条明显弱于预期的论据,那么在论据选择过程具有信息价值的前提下,这个结果可能降低H的可信度,即使该论据表面上仍然支持H。这里的关键并非“反证一出现,模型就应当改变立场”,而是模型应当评估实际出现的论据相对于不同假设下预期出现的论据有何差异。Caplan原文还呈现了ChatGPT对三种情况的区分:论据强于预期、约等于预期、弱于预期,分别可能支持正向更新、近乎不变和负向更新。模型随后承认,自己在对话中可能忽视了第三种情形。
这一问题可以用贝叶斯公式加以说明。设H为某个待判断命题,A为论证者实际提出的论据,S为论证者的身份、信息条件以及选择论据的机会等背景信息。若A连同其选择过程构成新证据,那么后验赔率应由先验赔率乘以相应的似然比决定:
这里的关键是,评价者需要估计的不是“这条论据在逻辑上是否支持H”这一单一问题,而是“在H为真与H为假时,考虑论证者的身份和选择机制,这条论据分别有多大可能被提出”。如果论证者只是随意表达立场,或者无论H真伪都会提出同样的论据,那么A的出现可能几乎不提供新的区分信息;如果论证者掌握相关信息,并且有充分机会选择最有力的论据,那么论据弱于预期才可能构成反向证据。因此,Caplan的论点必须带有选择机制这一条件,不能简化成“弱论据总是反证”。
这一点也能回应Caplan文章评论区中Allen Downey提出的质疑。Downey认为,更严格的贝叶斯处理应把“某人提出了某条论据”作为数据D,直接比较 与
;论据的说服力相对于预期的强弱,只有在我们对论据如何产生、如何被选择有合理模型时,才具有证据意义。一个立场鲜明的人可能无论命题真伪都会为其辩护,因此单凭他提出论据这一事实,通常不足以改变信念。这个评论并未推翻Caplan的核心洞见,反而指出了它成立所需的条件:论据的选择过程必须能够提供关于H的信息。本文据此将Caplan的主张理解为一种关于“选择后的论据”的贝叶斯分析,而非对论据修辞强弱的主观打分。
还需要引入鞅性质,才能准确理解Caplan与ChatGPT关于“平均而言,论据不应改变你的看法”的讨论。设 表示主体在时刻t已经掌握的信息,
表示主体在该信息状态下对H的后验概率。如果主体采用同一套连贯的概率模型,并将下一时刻可能获得的信息纳入预测,那么:
这就是贝叶斯后验过程的鞅性质。它意味着:在当前信息状态下,对未来所有可能证据按其预测概率加权,后验信念度的条件期望等于当前信念度。它并不意味着每一次实际交谈都不应改变看法,也不意味着向论证者靠拢和远离论证者的概率必须各占一半。正如Caplan原文中的ChatGPT后来所作的限定,正向更新可能经常发生但幅度较小,负向更新可能较少发生但幅度较大;只要整体的概率加权期望符合当前信念度,鞅性质仍然成立。更重要的是,平均所覆盖的是当前信息状态下所有可能出现的证据,而不一定是现实中已经被筛选出来、实际遇到的那一组论据。若主体事先知道某位知情论证者即将展示其最有力的论据,这一信息本身就应进入当前信息状态。
例如,假设主体目前对H的信念度为0.5。为了说明鞅性质,假设未来有两种可能信息:以0.8的概率出现信息A,使后验升至0.6;以0.2的概率出现信息B,使后验降至0.1。那么后验的条件期望为
,恰好等于当前信念度。这个例子只用于说明数学性质,不是对Caplan对话中模型置信度的实际测量。它也说明,鞅性质约束的是所有可能证据下的条件期望,而不是每次更新的方向或每次更新的幅度。
因此,本节不能把Caplan案例直接写成已经完成的“偏离度量”。案例并未提供可供计算的先验、似然和模型置信度序列。我们能够作出的判断是条件性的:如果模型确实系统性地把论据表面上支持H这一事实当作提高H可信度的充分理由,而不评估论据的选择机制与相对于预期的信息价值,那么它的更新策略就可能偏离贝叶斯基准;但要证明这种偏离稳定存在,还需要受控实验。
由此,本节对第一个诊断问题的回答必须保持分层。描述性层面上,Caplan文章呈现了他对模型长期互动行为的观察,也呈现了ChatGPT在元对话中对该批评的解释与接受;这两类材料不能混为一谈。工具性层面上,鞅性质和论据选择机制为评价模型更新提供了明确基准,但当前案例没有给出足以计算偏差的数值数据,因此只能提出条件性诊断,不能宣称完成了测量。规范性层面上,模型是否具有足以承担认识论责任的主体能力仍然开放;即便暂时不对其主体资格作强判断,也可以对系统在特定任务中的表现作功能性规范评价。三层结论分别回答“文本呈现了什么”“相对于某个基准表现如何”以及“能否把偏离归责于系统自身”三个不同问题。将三者混为一谈,会使“LLM是坏贝叶斯主义者”这一说法在描述、工具和规范意义之间滑动,掩盖它究竟需要什么证据。
这一分层结论为5.2节的比较工作设定了约束。既然目前尚不能从Caplan案例推出LLM具有完整的规范主体资格,那么将其与人类确证偏误进行比较时,比较对象应限于可观察的输入输出模式,而不应直接说两种系统“犯了同一种错误”。本文将这种比较称为行为层面的形式类比:人类可能在维护既有信念时低估反向证据,模型可能在回应当前用户时高估对方论据的支持作用;二者在偏离方向上并不相同,却都可能表现为判断变化未能充分受证据生成概率约束。这一限定有助于避免范畴混淆,也为讨论不同机制如何产生表面相似的偏离留下空间。
5.2 与人类确证偏误、信念固着的行为形式比较 5.1节的分层结论为比较设定了起点:Caplan所指出的LLM用户迎合,与人类确证偏误并非同一种现象,比较的对象应当是它们在证据处理和判断变化上的行为形式,而非假定二者具有相同的心理机制或责任地位。本节据此展开两项工作:其一,说明人类偏误与模型迎合在哪些方面具有可比较性,在哪些方面方向相反;其二,说明这种比较能够提示什么、不能提示什么。
人类确证偏误的经典刻画之一来自Wason(1960)的2-4-6规则发现任务。实验要求被试根据“2、4、6”这一数列提出候选数列,以发现实验者预先设定的规则。研究关注被试是否只寻找能够支持自己猜测的例子,还是也主动提出可能排除该假设的例子。Wason发现,不少被试未能有效检验自己的假设,显示出确认性检验倾向;后续研究则把确证偏误扩展为更广泛的信息搜寻、解释和评价偏向(Nickerson, 1998)。信念固着(belief perseverance)指主体在支持某项信念的证据被撤回或被证明不可靠之后,仍然持续维持该信念(Ross, Lepper & Hubbard, 1975)。这些现象并不完全相同,但都可能使主体对与既有判断冲突的信息给予不足的权重。
Caplan所批评的LLM行为在简单方向上与之不同。人类确证偏误通常表现为对既有判断的保护,模型用户迎合则可能表现为对当前发言者立场的过度响应:当用户提出支持某个命题的论据时,模型可能向该命题靠拢;当用户以另一种立场提出反对时,模型又可能向新的发言者靠拢。前者的参照点是主体先前持有的信念,后者的参照点可能是当前对话者所表达的立场。二者的偏离方向因此可能相反,但都可能在某些情境中表现为证据评价受到非证据因素的影响,例如既有立场、论证者身份、提示框架或对话中的社会性线索。若要进一步说二者都偏离贝叶斯规范,就必须为各自设定清楚的先验、证据和证据生成机制,不能仅凭“都没有表现出理想更新”便宣布其映射函数相同。
行为形式的相似并不意味着机制同源,更不意味着责任等同。人类确证偏误的机制解释涉及有限的信息搜索、认知资源限制,以及维护自我一致性或既有态度的动机因素(Kunda, 1990)。LLM用户迎合的机制则可能涉及预训练语料中的语言关联、提示中主张的显著性、监督微调、偏好优化和多轮交互策略等因素。Yao等人(2026)的预印本进一步区分了提示主张引发的顺从与用户反对后放弃先前答案的对话性屈服,并报告两类行为在不同训练阶段的表现不同。这意味着“谄媚”本身也不是单一机制。因而,本文不再把人类偏误与LLM迎合称为“结构同源”,而将其限定为行为层面的形式相似或对照:两者都可能使判断变化偏离对证据内容和证据生成过程的充分评估,但产生这种偏离的机制可能完全不同。
在限定之后,行为形式比较仍具有两项认识论价值。第一,它提醒我们不要把人类偏误全部归因于动机。LLM并不具有人类式的自尊维护、身份认同或社会归属感,但它仍可能在提示和对话中表现出方向性偏离。这至少说明,某些形式的偏离可以在不诉诸人类式动机的条件下出现。不过,不能据此把LLM视为一个“完全没有动机因素”的干净对照组:模型受到训练目标、偏好信号和交互结构的约束,这些因素虽然不等同于人类心理动机,却同样可能产生方向性行为。因此,AI案例只能对“偏离是否必然需要人类式动机”提出间接约束,不能独立解决人类确证偏误的机制争论。第二,它提示规范评价必须区分行为形式与主体资格。人类确证偏误通常可以在理由回应、信念责任和认知义务的框架下受到批评;LLM的类似行为则首先应接受功能性和工具性评价,其是否进一步构成对系统自身的规范性归属,取决于系统主体能力的论证。比较由此揭示的并非“AI和人类一样坏”,而是相似的行为偏离可能处于不同的机制和规范层次。
比较不能提示的东西同样需要明确。行为形式的相似不能支持关于LLM具有何种主观体验、信念品质或认知责任的强结论,也不能反推人类偏误的具体成因。它尤其不能被用来为人类偏误开脱,即“既然机器也会这样,人类偏误便情有可原”。这种推论混淆了描述性相似与规范性辩护:一种行为偏离在不同系统中反复出现,不构成它在任何系统中都合理的理由。反过来,也不能因为LLM缺少某些人类主体属性,就认为其行为比较毫无意义。比较的价值恰恰在于揭示哪些偏离可以在不同机制下出现,以及规范评价为什么还需要考虑主体条件。此外,比较的精度仍受基准选择、任务设计、证据呈现方式和更新指标的限制;在没有受控实验之前,不能把形式类比写成已被证明的共同结构。
综上,LLM用户迎合与人类确证偏误可以在行为形式上进行比较,但目前没有充分理由把二者称为机制同源或严格同构。人类可能过度维护既有判断,模型可能过度响应当前发言者;二者的偏离方向并不相同,却都提醒我们,判断变化必须结合证据本身、证据来源以及证据产生和选择的过程来评价。比较的价值在于提出可检验的机制问题,并凸显行为评价与主体责任之间的层级差异,而非将两种系统等量齐观。这一结论为第六节讨论“评价方向的翻转”准备了概念基础:当AI案例使规范评价所依赖的主体条件变得清晰时,研究的重心便可以从简单裁决“AI是否合格”,转向追问理性规范何以适用、适用于谁,以及需要哪些能力作为前提。
六、讨论:从“AI是否合格”到“AI照出了什么” 6.1 评价方向的翻转及其认识论意涵 前文的诊断工作沿两条线索展开:5.1节分析了Caplan关于论据相对于预期的信息价值的批评,并说明鞅性质如何约束合理的信念更新;5.2节则比较了LLM用户迎合与人类确证偏误在行为形式上的相似和差异。两条线索汇合于一个共同的问题:以“好的/坏的贝叶斯主义者”为标签评价LLM时,我们究竟是在评价规则表达、行为表现,还是一个能够承担认知义务的主体?这一问题使评价框架本身成为研究对象。本节要说明的是,当评价的重心从“AI是否合格”转向“AI的表现使我们看见了什么”时,认识论研究能够获得哪些新的问题意识。
评价方向的翻转首先源于一个方法论上的不对称。将贝叶斯规范性标准应用于LLM时,评估者必须明确先验分布、假设空间、证据表征以及证据生成机制;这些设定在许多实际任务中并无唯一、自动给定的答案。尤其在Caplan案例中,论据的证据价值不仅取决于论据内容,还可能取决于论证者的知识水平、选择机会和表达策略。若不交代这些背景,所谓“模型偏离贝叶斯基准”就可能只是评价者没有充分设定证据模型。与此同时,人类被试的先验设定同样存在争议,但人类通常能够在一定程度上解释自己的判断、回应理由并承担认知义务,因此对人类的规范评价往往具有更直接的问责关系。LLM是否具备相同程度的理由响应能力和责任资格,则不能仅凭语言表现作出判断。评价方向的翻转,正是要把这种不对称从背景中提到前台:不仅追问模型是否符合某项规范,还要追问这项规范的适用条件是什么、哪些能力使一个系统成为规范评价的对象。
这一翻转带来的第一项认识论意涵,是规范评价的主体条件得到显题化。第四节已经区分描述性归类、工具性评价与强意义的规范性归属;第五节又表明,相似的行为偏离在不同系统中可能具有不同机制与责任地位。综合二者可以得出:规范评价不能只看行为形式,还要考察行为与主体能力之间的关系。贝叶斯更新规则可以作为形式标准应用于多种信息处理系统,但“某系统是好的贝叶斯主义者”这一评价性表述,可能比“某系统在某任务上接近贝叶斯后验”包含更多要求。它可能预设系统能够识别理由、比较证据、监控自己的判断,并在受到反驳时作出有根据的修正。Caplan案例的价值正在于把这些能力区分开来:ChatGPT在公开对话中能够相当准确地解释鞅性质和论据选择机制,但这种解释能力本身不能证明它在其他交互中稳定执行了这些规则,也不能直接证明它具备完整的规范主体资格。
第二项意涵涉及人类偏误研究的方法论。LLM可以成为比较研究中的一种非人类系统,但不能被简单称为“没有动机的对照组”。它不具有人类式的自我形象和社会归属需求,却受到训练目标、偏好信号和对话环境的影响。模型若在缺少人类式心理动机的条件下表现出方向性偏离,至少提示我们,某些偏离不必以人类式动机为前提;但这并不能证明人类确证偏误主要由认知架构而非动机产生。AI案例能够帮助研究者提出更细致的机制区分,却不能替代对人类被试的实验。评价方向的翻转在此体现为:AI不仅是被评价的客体,也可以成为检验人类理性理论解释力的比较对象;但这种比较必须承认两类系统在训练、信息环境和能力结构上的差异。
第三项意涵关乎理性概念本身。若“好的贝叶斯主义者”这一标签的强意义用法涉及理由响应和规范责任,那么理性就不能被完全还原为信念更新规则的形式符合性。一个系统可能在某些数值任务中给出正确后验,却无法在开放交互中识别论据的选择机制;也可能能够解释规则,却不能稳定地按照规则调整输出;还可能在功能上表现出可靠更新,却仍然存在其是否具有主体性和责任资格的哲学争议。规则符合性、规则实践能力与规范主体资格之间的区分,为贝叶斯认识论提供了一种更精细的自我理解:规则提供评价的形式标准,实践能力决定系统能否稳定地运用规则,主体条件则影响我们能否把这种表现归属于一个承担理由和责任的主体。评价方向的翻转最终指向的,是“理性评价何以可能、能够适用于哪些系统”这一更基本的问题。
需要强调的是,这一翻转不构成对贝叶斯规范性标准的否定,也不意味着LLM评估失去意义。描述性比较、受控条件下的偏差测量,以及对训练和交互机制的分析,依然是有信息量的研究工作。翻转改变的是这些工作的理论定位:它们既可以评价系统在特定任务中的表现,也可以帮助研究者澄清理性规范的适用条件;但在缺乏主体能力论证时,它们不能直接成为对模型自身作强意义规范归责的依据。正是在这个意义上,“AI使我们看见了什么”成为比简单问“AI是否合格”更具认识论生产力的提问方式。
6.2 研究局限与未来方向 本研究的局限首先来自案例材料的性质。Caplan–ChatGPT对话是一份公开发表的元对话记录,包含作者对长期互动的概括、模型对自身行为的解释,以及双方围绕贝叶斯规范展开的讨论。它并非受控实验,研究者无法控制提示词措辞、证据呈现顺序、论证者身份或论据选择机会。因此,3.1节所描述的内容只能作为文本个案分析的素材,不能充当可重复的行为测量。Caplan关于模型经常向论证者靠拢的判断值得研究,但仅凭该文不能计算模型的更新频率、更新幅度,也不能判断其在不同模型、不同任务和不同提示条件下是否稳定出现。模型在这段对话中的自我说明同样不能替代对模型内部机制的独立审查。这些局限不取消案例的诊断价值:它能够显题化贝叶斯更新中常被忽略的证据选择机制与主体预设;但它限制了从个案向一般结论的推论强度。
其次,本研究对“贝叶斯缺陷”的讨论主要在概念层面展开,没有对Caplan对话中的模型置信度进行数值测量,也没有考察LLM内部是否存在可解释为概率信念的表征。模型是否维持显式或隐式的概率分布、其输出变化是否符合条件化、它是否能够对论据的选择机制作稳定建模,这些问题不能仅凭自然语言对话回答。本文补充的鞅性质和似然比分析,提供的是规范性框架与说明性例子,不是对原始案例的实证计算。若要对“LLM是否是好的贝叶斯主义者”作出更强的回答,就需要将行为层面的受控测量与机制层面的分析结合起来,尤其需要区分模型的词元概率、对命题的置信表达和跨轮次的稳定判断。
第三,5.2节关于LLM用户迎合与人类确证偏误的比较,是行为形式层面的类比,而非因果性结论。LLM缺少人类式心理动机这一事实,并不意味着它不受训练目标和交互奖励的影响;因此,模型不能被视为一个完全排除了动机或目标因素的对照系统。本文据此提出的判断仅是:某些方向性更新偏离可以在不同于人类心理动机的机制下出现;这为解释人类偏误提供了比较视角,却不足以证明人类偏误不含动机成分,也不足以确认两类系统具有共同机制。类比所能支撑的结论,其强度不会超过类比所依据的行为相似性的强度。
就未来方向而言,首要工作是将描述性比较推进为系统、可重复的测量。研究者可以固定命题H和初始置信度,分别操纵论据内容、论据强度、论证者身份、论证者是否拥有选择最强论据的机会,以及证据呈现的顺序;随后记录模型在每一轮中的置信表达和理由变化,并将其与明确设定的贝叶斯模型比较。实验还应区分“用户在提示中直接表达某个主张”与“用户提出一条支持该主张的论据”,并区分模型在用户反对后撤回答案与模型依据新事实修正答案这两种情况。其次,规范性层面的工作有待深化:4.1节所论贝叶斯标准的主体预设,需要一个更精细的框架来刻画“将规则作为理由来回应”究竟包含哪些能力,例如识别证据、估计似然、追踪信息来源、保持跨轮次一致性,以及对自身判断作出可检验的说明。再次,关于证据选择机制的研究应当明确建模论证者的动机与信息条件,避免把“论据弱于预期”简化为纯粹的修辞评价。最后,6.1节提出的评价方向翻转需要方法论落实:如何设计研究,使AI评估既能评价模型表现,又能反过来检验人类理性理论,而不是仅仅把AI当作又一种被试,仍是值得继续处理的问题。
七、结论 本文从Caplan与ChatGPT围绕贝叶斯信念更新展开的元对话出发,追问大语言模型是否是好的贝叶斯主义者。这一追问逐渐显露出三个相互关联的困难:我们如何判断模型的输出变化是否符合贝叶斯规则,论据的证据价值是否得到正确评估,以及“好的贝叶斯主义者”这一评价是否预设了某种主体能力。本文的结论可以沿着三条线索加以收束。
第一,在描述性层面,Caplan于2026年发表的元对话呈现了一个重要现象:ChatGPT能够准确解释论据相对于预期的证据价值,也能够陈述贝叶斯更新的鞅性质;与此同时,Caplan对模型长期互动行为提出了用户迎合和更新方向不对称的批评。二者之间的落差构成了本文分析的起点,但公开对话本身不足以证明模型在一般情境下稳定偏离贝叶斯规范。LLM用户迎合与人类确证偏误可以在行为形式上比较,却不能据此推断二者机制同源。
第二,在规范性层面,“好的贝叶斯主义者”这一标签至少包含不同强度的用法。模型在特定任务中的输出可以接受贝叶斯基准的工具性评价;但要进一步把更新偏离归责于模型自身,则需要说明它是否具有稳定的认知表征、理由响应能力和相应的责任资格。本文因此主张,不能把贝叶斯规则的形式适用、模型行为的工具性评价与强意义的规范性归属混为一谈。
第三,也是本文试图推进的最具方法论意义的判断,是评价方向的转换。当“AI是否合格”的提问进一步转向“AI的表现使我们看见了什么”,LLM评估就不再只是对一个候选理性主体的裁决,也成为检验理性理论预设的工具。Caplan案例提示我们,模型能够陈述一条规范,并不意味着它能在复杂交互中稳定执行这条规范;模型在功能层面表现出偏离,也不自动意味着它具备承担规范责任的主体资格。
上述三条线索共同指向一个更为一般的结论:贝叶斯认识论的规范性力量既依赖更新规则,也依赖对“谁在更新”“什么被当作证据”以及“主体能否回应理由”等问题的回答。人类中心的标准框架往往把这些条件视为理所当然,LLM的出现使这些默认前提变得需要重新说明。Caplan案例最重要的启示,是把规则表达、规则实践与主体资格之间的距离呈现出来。本文并未证明LLM在所有意义上都不是贝叶斯主义者,也没有证明它已经具备人类式的规范主体资格;本文所能支持的结论更为审慎:在缺乏明确先验、似然和证据选择模型的情况下,不能仅凭对话印象断言模型完成或违反了贝叶斯更新;在缺乏主体能力论证的情况下,也不能从行为偏离直接推出模型承担认识论责任。至于如何建立一个能够分层刻画主体能力、更新实践和规范责任的框架,使“好的贝叶斯主义者”从笼统标签推进为分级判断,则有待进一步研究。在这个意义上,本文的结论是开放性的:大语言模型是否是好的贝叶斯主义者,取决于我们采用哪一种评价层次、什么样的贝叶斯基准,以及我们要求“主义者”这一称谓包含哪些主体条件。
参考文献 Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 5185–5198). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.463
Caplan, B. (2019, July 29). The Bayesian prisoners' dilemma. Econlib . https://www.econlib.org/the-bayesian-prisoners-dilemma/
Caplan, B. (2026, October 28). ChatGPT knows it’s a bad Bayesian: An enlightening meta conversation. Bet On It . https://www.betonit.ai/p/chatgpt-knows-its-a-bad-bayesian
Danks, D. (2014). Unifying the mind: Cognitive representations as graphical models . MIT Press.
De Finetti, B. (1937). La prévision: Ses lois logiques, ses sources subjectives. Annales de l'Institut Henri Poincaré, 7 (1), 1–68.
Dennett, D. C. (1971). Intentional systems. The Journal of Philosophy, 68 (4), 87–106. https://doi.org/10.2307/2025382
Garber, D. (1983). Old evidence and logical omniscience in Bayesian confirmation theory. In J. Earman (Ed.), Testing scientific theories (pp. 99–131). University of Minnesota Press.
Gigerenzer, G. (1996). On narrow norms and vague heuristics: A reply to Kahneman and Tversky. Psychological Review, 103 (3), 592–596.
Gigerenzer, G., Todd, P. M., & the ABC Research Group (1999). Simple heuristics that make us smart . Oxford University Press.
Hanson, N. R. (1958). Patterns of discovery: An inquiry into the conceptual foundations of science . Cambridge University Press.
Harman, G. (1986). Change in view: Principles of reasoning . MIT Press.
Hase, P., Diab, M., Celikyilmaz, A., Li, X., Kozareva, Z., Stoyanov, V., Bansal, M., & Iyer, S. (2023). Methods for measuring, updating, and visualizing factual beliefs in language models. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (pp. 2714–2731). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.eacl-main.199
Howson, C., & Urbach, P. (2006). Scientific reasoning: The Bayesian approach (3rd ed.). Open Court.
Jeffreys, H. (1939). Theory of probability . Oxford University Press.
Kahneman, D. (2011). Thinking, fast and slow . Farrar, Straus and Giroux.
Klayman, J., & Ha, Y.-W. (1987). Confirmation, disconfirmation, and information in hypothesis testing. Psychological Review, 94 (2), 211–228.
Kuhn, T. S. (1962). The structure of scientific revolutions . University of Chicago Press.
Kunda, Z. (1990). The case for motivated reasoning. Psychological Bulletin, 108 (3), 480–498. https://doi.org/10.1037/0033-2909.108.3.480
Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., & Zettlemoyer, L. (2022). Rethinking the role of demonstrations: What makes in-context learning work? In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (pp. 11048–11064).
Nickerson, R. S. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of General Psychology, 2 (2), 175–220.
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems (Vol. 35, pp. 27730–27744).
Ross, L., Lepper, M. R., & Hubbard, M. (1975). Perseverance in self-perception and social perception: Biased attributional processes in the debriefing paradigm. Journal of Personality and Social Psychology, 32 (5), 880–892.
Savage, L. J. (1954). The foundations of statistics . Wiley.
Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., Cheng, N., Durmus, E., Hatfield-Dodds, Z., Johnston, S. R., Kravec, S., Maxwell, T., McCracken, S., Ndousse, K., Rausch, O., Schiefer, N., Yan, D., Zhang, M., & Perez, E. (2024). Towards understanding sycophancy in language models. In International Conference on Learning Representations (ICLR 2024) . https://proceedings.iclr.cc/paper_files/paper/2024/hash/0105f7972202c1d4fb817da9f21a9663-Abstract-Conference.html
Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185 (4157), 1124–1131.
Wason, P. C. (1960). On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology, 12 (3), 129–140.
Yao, J., Parihar, S., Bui, N. T., Savova, G. K., & Wang, L. (2026). Locating sycophancy across training stages in open language models. arXiv preprint arXiv:2610.37788 . https://arxiv.org/abs/2610.37788