感知机、逻辑回归、损失函数

1、感知机是一种简单的线性二分类模型，是神经网络的基础。

有x1，x2，…xn个输入，所有的输入会进入到神经元，在神经元中，每个输入x都会与之对应的权重参数wi相乘，在计算所有输入信号的加权和之后，与固定偏执参数b进行比较，比b大的则得到输出结果y为1，比b小的则得到输出结果y为0；但是b是一个常数 对最后的结果没什么影响所以进行了移项，用b代替-b。y=（累加和）wi*xi+b

2、用逻辑电路引入介绍单层感知机与多层感知机。

单层感知机是可以解决线性二分类，但是对于非线性问题，也就是得到的分类线不再是一条直线，而是一条曲线时，需要用多层感知机来解决。

3、神经网络就是由多层感知机发展并优化而来的。

4、逻辑回归

感知机是神经网络的基础，逻辑回归模型可以看成感知机模型的优化。也可以看成一种最简单、最基本的神经网络模型。可以说逻辑回归是感知机到神经网络的过渡和链接。

5、感知机模型中是有对线性值y进行判断的过程，即大于0输出1，正类；小于0输出0，负类；—-这个判断过程就是由一个非线性的阶跃函数实现的。

####注意： 但是阶跃函数有缺点：就是在0处不可导，也就无法计算梯度。也就无法使用梯度下降算法来确定模型参数wi和b。

6、所以对阶跃函数进行修改，让它变得光滑一些，也就是所谓的sigmoid函数

sigmoid函数数值在（0，1），这样就可以看成是预测正类的概率。当s>0,时，概率>0.5 可以预测为正类; s<=0, 概率<0.5 预测为负类; 

7、损失函数（交叉熵损失函数：真实值与预测值之间的差距）

 8、梯度下降算法（是为了求损失函数的最小值）

梯度含义：函数在当前位置的导数。

原文地址：http://www.cnblogs.com/ar-boke/p/16883617.html