机器学习 | 浅谈贝叶斯统计

本文转载自公众号京师统计团总支学生会

一个神经元能够催生多少故事？香港中文大学信息工程系助理教授周博磊近日撰文介绍了他自 2015 年开始至今对神经元的研究经历。最近，他与 David Bau、朱俊彦等人合作的神经元研究论文发表在了 PNAS 杂志上。

浅谈贝叶斯统计

贝叶斯统计是英国学者托马斯·贝叶斯在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。本文旨在通过实际的简单例子使大家对贝叶斯统计方法有更直观的认识并对其理念有更深刻的理解。

案例一

通过贝叶斯推理来辨别“买东西的人”和“随便逛逛的人”

商店里的售货员最关心的问题莫过于“这位顾客究竟是来买东西的，还是随便逛逛而已”。所以对于店员来说，通过顾客的行为来揣测他们的真实想法，是一项重要的本领。下文将具体介绍“将店员的判断方法数值化”的方法，该方法恰巧适用贝叶斯统计学。进而言之，通过该事例，我们也可以弄懂贝叶斯统计学的概念。

第一步

通过经验设定“先验概率”

假设一个场景：面前有一位顾客，此时你需要做的是，推测该顾客究竟是“来买东西的人”，还是“随便逛逛的人”。只有做出正确的判断，才能采取正确的接待方法。

推算的第一步：将两种顾客（来买东西的顾客、随便逛逛的顾客）的比例进行数值分配。这句话的意思是：假设面前的这位顾客一定属于两种中的一种，以此为前提，该顾客为第一种或第二种的可能性分别为多少？将这个可能性用数值表示出来。

在贝叶斯统计学中，这种“某种类别的概率（比例）”有一个专有名词，叫作“先验概率”。“事前”的含义是：在获得某项信息之前。

此处的“信息”是指附加的状况，比如顾客忽然过来询问。通过“过来询问”这一信息，可以对顾客类别的推算进行修改，而“先验概率”是指，在“过来询问”或“不过来询问”的情况发生之前进行的概率判断。

根据自己的经验，每5位顾客中就有1位是“来买东西的”，也就是说，这一部分顾客占全体的20%（0.2），那么剩下“随便逛逛”部分的比例便为80%（0.8）。这两个数字，便是两类顾客的“先验概率”。

在这个事例中，在观察面前顾客的行为之前，判断“该顾客是属于概率0.2的买东西的人，还是概率0.8的随便逛逛的人”，这个过程被称为“某一类别的先验分布”，如图1所示。

图表中的大长方形被分割为两部分，两部分的面积所占比例分别为0.2和0.8，这正是分割时的诀窍。本文将在后面逐渐阐明：“面积”的概念在贝叶斯概率的计算中，起着重要的作用。

该图可以理解为：将整体分为两种不同的情况。这意味着，自己所处的环境为A或B中的一个，A情况下的顾客为“来买东西的人”，B情况下的顾客为“随便逛逛的人”，但不知道究竟是A还是B。只是先在头脑中构筑一个大致的印象。哲学上将这种见解称为“可能世界”，在进行逻辑推算或概率推算时，采用这种“划分互不相同的可能性”的思维方法，有利于整理思路。

在这里将长方形的面积设定为0.1和0.4，两部分的比例依然为1∶4，这与设定为0.2和0.8时的比例相同。那么，为何要将面积设置为0.2和0.8呢？这是因为，用数值来计算概率的情况下，需要在多种可能性中，选取“将各部分概率相加，总和为1”的那一种，这种情况被称为“标准化条件”。

第二步

设置发生“向店员询问”事件的条件概率

在这一步，我们要做的是：为“来买东西的人”和“随便逛逛的人”这两类顾客分别设定“向店员询问”的概率。如果没有相关经验和数据作为支撑，这项工作是无法完成的。上一节讲到，即使没有相关经验，也可以设定先验概率。但此处的“各个分类的行动概率”，必须是基于一定的经验、实证、实验的数值。

图表中的数值，是为了计算简便而设定的，并非真实数据。

从图表中可以看出，“来买东西的”顾客向店员询问的概率是0.9，而“随便逛逛的”顾客向店员询问的概率只有0.3。

需要注意的是：图表从横向来看，0.9+0.1=1，0.3+0.7=1，两行都满足标准化条件；而纵向来看，0.9+0.3≠1，也就是说并不满足标准化条件。具体分析一下：横向的一行，表示某一类别的顾客可能采取的两种行动。比如第一行数字，表示“来买东西的人”向店员“询问”或“不询问”这两种行为，顾客有可能询问，也有可能不询问，最终采取的行动一定是其中之一，没有第三种可能性。而纵向来看，第一列数字表示，“来买东西的人”向店员询问的概率为0.9，“随便逛逛的人”向店员询问的概率为0.3，两个数字相加之和并不等于1。这是因为，对象范围包含了两个不同类别的顾客，并且也没有涵盖所有的行动。

图表中的数字，表示“某一特定类别采取各种行动的概率”，这在统计学中被称为“条件概率”。用“原因”的概念来解释，即“在原因明确的情况下，某一类别采取各项行动的结果概率”。

将两个类别的顾客，进一步按照“询问”和“不询问”的条件来分类，那么前文所述的两个大类别又可以细分为四个小类别，分别是：“来买东西的人询问店员”“随便逛逛的人询问店员”“来买东西的人不询问店员”“随便逛逛的人不询问店员”，如图表所示。

一共存在四种可能性：来买东西的人询问店员（左上区域）、来买东西的人不询问店员（左下区域）、随便逛逛的人询问店员（右上区域）、随便逛逛的人不询问店员（右下区域）。0各个区域所表示的概率与每个长方形的面积相等。长方形的面积可以用乘法求得，如图表所示。

第三步

通过观察到的行为，排除“不可能的情况”

下面，让我们进一步进行推测。

作为一名店员，现在你面临的情况是：顾客上前来打招呼。这也意味着，你观察到了顾客的某一种行为。这为“可能世界”又增添了一条信息。

这条信息的内容是：“不询问店员”的可能性消失了。上一节中提到，在顾客类别包括“来买东西的人”和“随便逛逛的人”两类，顾客的行为包括“询问”和“不询问”两类的情况下，“可能世界”共分为4种。在现实世界中，因为已经观察到了“询问”这一行为，因此“不询问”这一行为覆盖的世界就不复存在了。这意味着，“可能世界”受到了限制。下面我们借助图形来理解这一问题。

因为“可能世界”变成了2个，从而我们可以推测获得新的数值。

在一部分可能性不复存在，而一部分可能性又在现实中受到了限制的情况下，会发生些什么呢？这正是所谓的——在推测中“概率发生变化”。

第四步

寻求“来买东西的人”的“贝叶斯逆概率”

上一步，由于观察到“询问”这一行动，使得“可能世界”被限定在两个以内。也就是说，面前的顾客所属的世界，要么是“来买东西的人询问店员”，要么是“随便逛逛的人询问店员”，只有这两种可能性。显示其可能性的数值（概率），如图表所示。

图表 “不询问”的可能性消失。

根据观察到的行为，可能性被限定为两种，此时，所有情况的概率（长方形面积）之和已经不为1。因此，要保持比例关系，恢复标准化条件，从而使概率发生变化。

图表表示恢复标准化条件，计算后验概率

从上表中我们可以看出，上前询问的顾客为购买者的概率，可以推定为3/7。这个概率，被称为“贝叶斯逆概率”或“后验概率”。

在此，对“逆概率”一词中的“逆”的含义，进行简要说明。所谓的“逆”是指：用与之前相反的方法，来解析表示几个互不相同的“世界”的图形。截至上一节的观点是：顾客共分两种类别，每一种类别都会随机做出“询问”或“不询问”的行为，这一观点的前提是对图表进行纵向观察。这正是从“类别”这一原因，得到“行动”这一结果的处理方法。但是，现在让我们来横向观察图表。也就是说，“上前询问”的顾客可分为“来买东西的人”和“随便逛逛的人”两种类别，从中随机选择一种。从“询问”这一行动的结果追溯到“类别”这一原因。【结果→原因】这一过程，就是“逆概率”这一概念中“逆”的含义。

贝叶斯推理过程的总结

用图表对于之前提到的后验概率的计算方法进行总结，如图表所示。

那么，通过求后验概率，我们能够了解到什么呢？其实，只要抽出图表的开头、中间和结尾部分，并填入数值，结果就很明确了。

看这个图表便可了解到，在没有观察到任何行为时，面前的顾客是“来买东西的人”的概率为0.2（先验概率），但观察到“上前询问”这一行为之后，数值便更新为约0.43（后验概率）。也就是说，虽然并不能断定这位顾客就是“来买东西的人”，但这一结果的可能性提高到了以前的两倍，这便是“贝叶斯更新”。

案例二

推测送巧克力的女同事的心意

本文之前所阐述的贝叶斯推理的顺序为：

先验概率 → 条件概率 → 通过观察获取信息 → 后验概率

前例在设定最初的先验概率时，是以客观数据作为参考的。然而，贝叶斯推理的魅力正在于：即使没有事前的客观数据，也能进行推算。也就是说，可以主观设定先验概率，进行推算。这可以更进一步解释为：学会这个方法，才能更深刻地理解“贝叶斯推理的思想”，全面了解它的神奇之处。

下面，进行如下问题设定：

假设你是一名男性，有这样一位特殊的女同事，你很在意她是否对自己有好感。情人节那天，你收到了她送的巧克力。那么，你将如何推算“她喜欢自己”这一事件的概率呢？

此处的设问——“认为你是真命天子的概率”中的“概率”这一概念，让人越想越不明白。因此，本次的问题设定与通常情况下的统计、概率常识是有所不同的。不过，贝叶斯推理可以帮助我们解决这样的问题。这也正是贝叶斯推理的优势所在。本讲通过解释这一类问题，帮助您理解贝叶斯推理带有主观性的一个侧面。

第一步

主观上设定你是否是“真命天子”的“先验概率”

按上节所述，这一事例的特殊性在于，通过客观统计数据无法获得先验概率。先验概率的概念在第一例中曾涉及，是指：事前能够判断的各个类别的相应概率。在这个案例中，有两种类别：一种是“把你视为最喜欢的人”，另一种是“没有把你列入考虑范围之内”。以下，简称为“真命天子”和“无关路人”。

此例中，并没有选取大量的统计学现象来处理，而是对某个特定的女同事的心情进行推测。因此，没有数据可用于先验概率的判断。

在这种情况下，一般会采用“理由不充分原理”的方法。通过这一原理我们可以进行如下思考：因为没有证据证明女同事把你视为“真命天子”，然而也没有证据认为她把你视为“无关路人”，因此暂且把这两种情况的概率视为相等。即把两种情况的先验概率分别设为0.5和0.5，如图表所示。

那么，你究竟属于这两个类中的哪一个呢？总之，答案在她的心中，你无法断定，只能推测罢了。既然统计方法无法使用，也没有证据证明哪一种更有优势，因此，两种情况的可能性理应对等划分，各为0.5。当然，也可以划分为其他比例，这个问题将在本例的最后进行说明。

第二步

设法找到数据，设定“条件概率”

下一步是针对能够观察到的行动，设定不同类别的条件概率，而这需要在一定程度上的客观概率。也就是说，必须要获得统计性的数据，才能进行下一步工作。

对于统计结果进行分析的结果显示，存在如下关系：

整理得如下表格3-3：

第三步

收到巧克力，排除掉“不可能的情况”

如今，你幸运地收到了来自心仪女同事的巧克力。在现实世界中，因为已经发生了她给你“送巧克力”的行为，“不送”的可能性就被排除在外，恢复标准化条件。从结果来看，如果你收到了女同事的巧克力，那么，你成为她的“真命天子”的事后准确率便为2/3，约等于66%。

在本文中，上述过程称为“贝叶斯推理”。贝叶斯推理可以总结为：通过观察行动（信息），将先验概率通过贝叶斯更新，转换为后验概率。对不同事件进行的推算称为“贝叶斯推理”，而将这些事件中的推算方法整合起来，便是“贝叶斯统计学”。

在本文的最后，对于“概率”的定义进行简要说明。

我们在初中、高中阶段学习的概率，是一个客观的概念。也就是说，对于“某现象的概率是多少”的问题来说，答案是唯一的，无论是谁回答，都会给出一个唯一、客观的数值。在“掷骰子出现1的概率为六分之一”的情况下，概率表示的是：丢出这个骰子后，出现的结果为1的可能性的程度。这个答案对于所有人来说，都是相同的。

然而，本文中提到的“概率”，并非上述的客观性概率。“女同事认为你是她真命天子的概率”这一情况下的“概率”，并不能像上述掷骰子事件的概率那样进行解释。这是因为：骰子可以丢很多次，但这位女同事是独一无二的。她认为你是真命天子还是无关路人，并不是从现在才开始发生的概率性事件，而是早已有了结论，只是你不知道罢了。

因此，“女性同事认为你是她的真命天子的概率”中的“概率”，应当解释为：你内心描绘的类似“信念程度”这样的概念。也就是说，并非“概率是多少”的问题，而应该理解为“你认为概率是多少”。

像这样，可以解释为“人的内心描绘的数值”的概率称为“主观概率”。也许很多人会认为主观概率是不可信的，但在统计学和经济学中，“主观概率”始终占有一席之地。