机器学习|刘博士谈机器学习--机器的“是非观”

Preface

说到是非题，我又回忆起2010年的那个夏秋，我第一次做数据分析项目的时候。如果你读过之前的文章 ，你会知道我去了一家小型咨询公司，协助他们帮助国内一家大型的商业银行做信用评分卡的业务。信用评分卡是一个给前来办理贷款的客户进行打分的模型，该分数在一定程度上决定了银行是否会给该客户发放贷款。暂时不去想分数，银行最终给申请者的回复无非是批复或者不批复，这取决于银行认为该客户是不是会违约，这是一道典型的是非题。

这道是非题对于常年从事贷款审批的银行工作人员，并不是一件难事，但是有可能会花费很长时间进行审查。但换一道是非题，比如，我把我早上用的刮胡刀拿给你看，问你这是不是吹风机，你一定能迅速给出答案，那就是我有病。这里其实说明了两件事情。

首先，如果我们这一生只见过一样东西，那就是吹风机，那么，我们很有可能会把刮胡刀当做吹风机，因为那种情况下，在我们的世界观里，所有的物品都是吹风机。我们不会把刮胡刀当成吹风机，是我们不止见过各种各样的吹风机，也见过许多不是吹风机的物品，比如刮胡刀。而审批银行贷款的工作人员之所以能够判定客户是否会违约，是因为他们不仅遇到过违约客户，也遇到过不曾违约的客户。所以，为了做信用评分呢，需要先收集数据，数据里不仅要有足够的好客户（不曾违约，标记为0），也要有足够的坏客户（违约客户，标记为1）。

其次，区分刮胡刀和吹风机不是难事，因为这两个物品的特征有着肉眼可见的区别。但是对于银行客户来说，好客户和坏客户之间的区别几乎无法用肉眼找到其特征的差别。换句话说，客户特征和客户违约或者不违约之间的关系并不是明摆着的事情，需要进行深入的挖掘。

现在，假设我们手上已经有了N个客户，每个客户都有一个属性向量x（可能涵盖了他的职业、收入、教育背景、信用卡记录等），也有标签y（0或者1）。而且在数据里，标签y=0的客户和标签y=1的客户数量相差不大。这一点比较重要，想象一个极端的情况，在这个数据里只有一个坏客户，其他全部是好客户，那么对于这个是非题，我们只需回答，全都是好客户，错误率也就是1/N罢了。

我们需要利用这组数据，找到一个模型f，使得x经过f，就变成了客户的标签y。如果我们找到了这个模型，我们只需要把这个模型输入到机器中，机器就可以自行判断每个客户的违约情况。注意到，标签y是一个二元变量，只取0和1两个值，直接做线性回归显然是不合适的。

我说过，在目前弱人工智能的环境下，机器并不具备很强的自我学习能力，所以，通常是我们想到了一个结题的思路，然后把这个思路传递给机器。对于2010年刚从数学系毕业没多久的我而言，我还习惯于使用概率统计的方法来建模。也因此，我第一反应就是，我不要直接判断客户是否违约，我应该先去判断客户的违约概率p。可是p作为概率，是一个大于0且小于1的数字，直接对客户属性x做线性回归，总是会担心超出其定义域范围。假设属性x仅有一个维度，就是客户月收入，那么让p=b*x，你很难说，有一个b使得b*x就在0到1的范围内，因为x可能会很大。

这个时候，可以去思考一下，如何消除这种定义域的限制。假设有w这个变量，w在负无穷到正无穷之间，而且w和p之间有明确的关系式，那我们可以用x来对w建模，然后再把w转换成p。有这样的w么？有，还不少。你可以这样想，p在0到1之间，那么p/(1-p)就恰好落在0到正无穷之间，在取自然对数呢log(p/(1-p))，正好就在负无穷到正无穷之间了。所以可以令w=log(p/(1-p))。如果你看过一点神经网络的章节，你自然就知道sigmoid这个函数，这里，p=sigmoid(w)。

剩下的问题时，如果w和客户特征x之间是线性关系，那么系数应该是多少？