在1943年，沃伦麦卡洛可与沃尔特皮茨提出了第一个脑神经元的抽象模型，简称麦卡洛可-皮茨神经元（McCullock-Pitts neuron）简称MCP，大脑神经元的结构如下图。麦卡洛可和皮茨将神经细胞描述为一个具备二进制输出的逻辑门。树突接收多个输入信号，当输入信号累加超过一定的值（阈值），就会产生一个输出信号。弗兰克罗森布拉特基于MCP神经元提出了第一个感知器学习算法，同时它还提出了一个自学习算法，此算法可以通过对输入信号和输出信号的学习，自动的获取到权重系数，通过输入信号与权重系数的乘积来判断神经元是否被激活（产生输出信号）。
一、感知器算法
我们将输入信号定义为一个x向量，x=(x1,x2,x3..)，将权重定义为ω=(ω1,ω2,ω3...)其中ω0的值为，将z定义为为两个向量之间的乘积，所以输出z=x1*ω1 + x2*ω2+....，然后将z通过激励（激活）函数，作为真正的输出。其中激活函数是一个分段函数，下图是一个阶跃函数，当输入信号大于0的时候输出为1，小于0的时候输出为0，这里的阶跃函数阈值设置为0了。定义激活函数为Φ(z)，给激活函数Φ(z)设定一个阈值θ，当激活函数的输出大于阈值θ的时候，将输出划分为正类(1)，小于阈值θ的时候将输出划分为负类(-1)。如果，将阈值θ移到等式的左边z=x1*ω1+x2*ω2+....+θ,我们可以将θ看作为θ=x0*ω0，其中输出x0为1，ω0为-θ。将阈值θ移到等式的左边之后，就相当于激活函数的阈值由原来的θ变成了0。
感知器算法的工作过程：
1、将权重ω初始化为零或一个极小的随机数。
2、迭代所有的训练样本（已知输入和输出），执行如下操作：
a、通过权重和已知的输入计算输出
b、通过a中的输出与已知输入的输出来更新权重
权重的更新过程，如上图的公式，其中ω与x都是相对应的（当ω为ω0的时候，x为1），η为学习率介于0到1之间的常数，其中y为输入所对应的输出，后面的y（打不出来）为a中所计算出来的输出。通过迭代对权重的更新，当遇到类标预测错误的情况下，权重的值会趋于正类别和负类别的方向。
第一个公式表示的是，当真实的输出为1的情况下，而预测值为-1，所以我们就需要增加权重来使得预测值往1靠近。
第二个公式表示的是，当真实的输出为-1的情况下，而预测值为1，所以我们就需要减少权重来使得预测值往-1靠近。
注意：感知器收敛的前提是两个类别必须是线性可分的，且学习率足够小。如果两个类别无法通过一个线性决策边界进行划分，我们可以设置一个迭代次数或者一个判断错误样本的阈值，否则感知器算法会一直运行下去。
最后，用一张图来表示感知器算法的工作过程
二、python实现感知器算法
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
|
import numpy as np class Perceptron(object): ''''' 输入参数： eta:学习率，在0~1之间,默认为0.01 n_iter:设置迭代的次数,默认为10 属性： w_:一维数组，模型的权重 errors_:列表，被错误分类的数据 ''' #初始化对象 def __init__(self,eta=0.01,n_iter=10): self.eta = eta self.n_iter = n_iter #根据输入的x和y训练模型 def fit(self,x,y): #初始化权重 self.w_ = np.zeros(1 + x.shape[1]) #初始化错误列表 self.errors_=[] #迭代输入数据，训练模型 for _ in range(self.n_iter): errors = 0 for xi,target in zip(x,y): #计算预测与实际值之间的误差在乘以学习率 update = self.eta * (target - self.predict(xi)) #更新权重 self.w_[1:] += update * xi #更新W0 self.w_[0] += update * 1 #当预测值与实际值之间误差为0的时候,errors=0否则errors=1 errors += int(update != 0) #将错误数据的下标加入到列表中 self.errors_.append(errors) return self #定义感知器的传播过程 def net_input(self,x): #等价于sum(i*j for i,j in zip(x,self.w_[1:])),这种方式效率要低于下面 return np.dot(x,self.w_[1:]) + self.w_[0] #定义预测函数 def predict(self,x): #类似于三元运算符，当self.net_input(x) >= 0.0 成立时返回1，否则返回-1 return np.where(self.net_input(x) >= 0.0 , 1 , -1) |
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。
原文链接：http://blog.csdn.net/sinat_29957455/article/details/78820084
