Py学习  »  机器学习算法

机器学习入门3 ——感知器和逻辑回归

格密链 • 4 年前 • 293 次点击  


在这篇文章中,我们将讨论最基本的机器学习算法之一:感知器算法(Perceptron)。 该算法构成了许多现代ML算法的基础(最著名的是神经网络)。此外,我们将讨论感知器算法的兄弟,逻辑回归。


有监督和无监督算法


在机器学习中,有两种通用的算法。在上一篇文章中我们讨论了回归和分类。这两种方法均属于有监督学习算法的大范围之内,监督学习算法是两类机器学习算法之一。 另一类算法称为无监督算法。

 

监督算法从标记的训练数据中学习。 这些算法是“有监督的”,因为我们知道正确的答案是什么。 如果该算法收到一堆标记为苹果或橘子的图像,可以首先猜测图像中的对象,然后使用标签检查其猜测是否正确。

 

无监督学习有点不同,因为它在数据中发现模式。它的工作方式类似于我们人类在随机现象中观察模式(或物体)的方式。无监督学习算法通过查看未标记的数据来做同样的事情。就像我们在观察对象时没有特定的目标(识别对象除外),算法除了从数据本身推断模式之外没有特定的目标。

 

我们将在以后讨论无监督算法。现在,让我们来看一个非常简单的监督算法,称为感知器算法(Perceptron)。


一种感知模型


机器学习和AI的目标之一就是做人类所做的甚至超越他们的事情。因此,尝试并模仿人类在大脑方面的工作是有意义的。

 

大脑由数十亿个相互连接的神经元组成,这些神经元不断发射信号,将信号从一个神经元传递到另一个神经元。它们使我们能够例识别面孔,图案,最重要的是思考。做很多令人难以置信的事情。

 

单个神经元的工作很简单:如果其输入符合特定条件,它将触发,并向与其连接的其他神经元发送信号。当然,实际的解释要比这复杂得多,但是由于我们使用计算机来模拟大脑,因此我们只需要模仿关于大脑是如何工作的。


感知器模仿机器学习算法中神经元的功能。感知器是现有的最古老的机器学习算法之一。

 

1957年首次使用它识别基本图像时,《纽约时报》将其称为:

未来的电子计算机的雏形将能够行走,交谈,书写,复制自身意识等。

 

距离这个目标我们还有一段距离要走,但《泰晤士报》确实认识到感知器的潜力。感知器现在构成了更复杂的神经网络的基础,我们将在下一篇文章中进行讨论。

 

像神经元一样,感知器接受多个输入并吐出一个输出。例如,一个感知器可能将输入温度作为输入并尝试回答“我今天应该穿毛衣吗?”的问题。如果输入温度低于某个阈值(例如70˚F),则感知器将输出1(是)。如果温度高于阈值,则感知器将输出0(否)。



当然,在决定是否穿毛衣时,我们可以考虑的变量不仅仅是温度。

 

就像生物神经元通常可以具有多个输入电脉冲一样,我们可以使感知器具有多个输入。在这种情况下,我们还必须对每个输入加权一定数量。如果要使用温度,风速以及完全随机的东西(例如在香港洗澡的人数)作为输入,我们希望对每个输入使用不同的权重。温度可能会具有负的权重,因为温度越低,您穿毛衣的可能性就应该越高。风速应具有正的权重,因为风速越高,您穿毛衣的可能性就越大。


但是来自加拿大的人可能已经很习惯感冒,因此他们穿毛衣的门槛可能比来自澳大利亚的人要低。为了表达这一点,我们使用偏差来指定加拿大和澳大利亚的阈值。

加拿大人对寒冷相当不敏感,因此偏离低.


澳大利亚人偏向高温,因此门槛温度较高

逻辑回归


但是,生活并不像感知器所指示的那样黑白分明。 几乎所有事物都存在不确定性,甚至选择是否穿毛衣。在任何温度下,我们都有一定的“机会”穿上毛衣。也许在45华氏度时,某人有95%的机会穿上毛衣,而在60华氏度时,同一个人将有30%的机会穿上毛衣。


逻辑回归模型的一般形式为:


其中θ是参数的向量,x是输入变量,h是模型概率。有关更多信息,我们建议您查看Andrew Ng关于逻辑回归的笔记。https://see.stanford.edu/materials/aimlcs229/cs229-notes1.pdf
 
逻辑回归和感知器算法非常相似。逻辑模型可以预测概率,而感知器只能预测是或否。实际上,采用逻辑模型并将所有小于.5的值都设置为零,而将所有大于.5的值都设置为1则得到的结果与感知器算法非常相似。


往期推荐

机器学习入门-2: 回归

第2届国际区块链学术会议接受论文

机器学习入门-1: 分类

区块链应用案例2—股市,投票,保险,身份管理,贸易金融

区块链应用案例1—卫生保健,能源产业

如何学习计算机科学? - 4

如何学习计算机科学? - 3

如何学习计算机科学? - 2

如何学习计算机科学? - 1

全国密码算法设计竞赛 第一轮算法评选结果

机器学习的50个最佳免费数据集

匿名数据不可能完全匿名


欢迎收听“区块链杂谈”节目,国内最有质量的区块链知识分享节目。


◆ ◆ ◆  ◆ 

格密链

专注于区块链上的密码学技术

长按扫码可关注


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/47861
 
293 次点击