旅游公司网站设计,wordpress能做手机站吗,苏州网络科技公司建网站,alinks wordpress引言机器学习#xff0c;绕不开预测问题#xff0c;预测绕不开回归和分类。本篇介绍最常用的二分类算法#xff1a;逻辑回归(Logistics Regression)#xff0c;当然随着算法的发展#xff0c;它也可用于多分类问题。每一个算法都是许许多多数学家的努力铸就#xff0c;理…引言机器学习绕不开预测问题预测绕不开回归和分类。本篇介绍最常用的二分类算法逻辑回归(Logistics Regression)当然随着算法的发展它也可用于多分类问题。每一个算法都是许许多多数学家的努力铸就理论篇希望自己可以尽量将算法发展过程叙述的平滑一些可以即保留理论基础又让读者感觉舒服。下面就让我们一起来领教一下这处理问题的伟大逻辑。2. 回归到分类的过渡逻辑回归顾名思义分为两部分逻辑和回归。首先让我们回忆一下上一篇线性回归的内容。我们希望透过样本得到数据背后的本质映射关系 。为了简洁我们假设这种关系是线性的 。然后催生了线性回归算法的配套理论。但是考虑这样一个问题当因变量不是连续变量而是分类变量比如大或者小黑或者白时线性回归模型又应该如何应用数学的魅力在于将现象数字化或者称为模型化。所以处理这个问题的第一步我们需要用数学来表示大或者小黑或者白。考虑类别之间相对的关系我们可以用概率来表示这个问题例如大的概率大于小的概率我们将预测为大。那么我们知道线性回归的因变量的数值位于 之间。如果我们再定义一个映射关系将 之间的数值映射成概率值即 之间就可以解决线性回归到分类问题的过渡。3. 什么是逻辑下面我们介绍几个可以完成上述映射的函数sigmod公式(1)称为逻辑函数(或者称为Sigmoid、S型函数)其将 之间的数值映射到 之间也是逻辑回归中使用的映射形式即线性回归接逻辑函数映射得逻辑回归模型arctantanh公式(2)和公式(3)分别是反正切函数和双曲正切函数它们分别将 之间的数值映射到 和 之间只需做简单的平移和伸缩变换即可映射至 之间。实际应用中在求解问题时需要应用映射函数的梯度信息逻辑函数梯度较为容易计算公式(4)给出它们的梯度公式 。在逻辑回归的实际应用中通常情况下我们应用逻辑函数的映射形式但是具体哪种函数的形式更好需要进一步考证。4. 理想的最优模型4.1 概率预测我们成功的将线性回归过渡到逻辑回归的分类形式总结一下现阶段的成果我们构造了从自变量映射到因变量概率的函数关系具体形式如公式(5)。为了清晰描述二分类问题我们不妨将两个类别分别标记为1和0一般情况下当 时预测结果为1当 时预测结果为0如式(6) 所示即 为预测为类别1的概率 为预测为类别0的概率。 4.2 损失函数此时亟待解决就是求解逻辑回归模型中参数 使其最贴近样本数据还记得线性回归我们应用最小二乘法定义的损失函数是预测值与真实值之间的误差平方和同样的我们仍沿用这个原理可以得到误差函数 如公式(7)所示遗憾的是公式(7)形式的损失函数并不是凸函数优化过程中存在困难。所以数学家们考虑定义了一种新的损失函数来处理分类问题损失函数需要满足的条件是可以衡量模型与真实数据之间的拟合程度或者称之为距离。为了清晰描述二分类问题我们将两个类别分别标记为1和0对于已经标记为1的数据我们希望模型给出1的概率越大越好反之对于已经标记为0的数据我们希望模型给出1的概率越小越好那么基于这个原理给出交叉熵损失函数如公式(8)观察公式(8)中交叉熵损失函数当 时求和号第一项生效该值越大模型效果越好当 时求和号第二项生效同样该值越大模型效果越好。在前面加上一个负号我们通过求解交叉熵损失函数的最小值即可求得最优的参数 。关于交叉熵损失函数其由来可由两个方面说明一是信息论角度熵用来衡量信息量的多少有兴趣同学可以查看一下信息熵相对熵交叉熵的概念。解释大致含义与我上面的解释类似另一个方面是从似然函数的角度解释对于上面定义的二分类问题 取值为0和1对于每一次取样在参数 已知的情况下其样本服从伯努利分布(二点分布、零一分布)那么对于n个独立样本其对数似然函数将对数似然函数取平均加负号与交叉熵损失函数形式一致求似然函数最大化与求交叉熵损失函数最小化是等价的。求解过程一般使用梯度下降方法当然基于梯度下降方法有许多进化算法AdaGradRMSPropAdam等。这里不详细介绍后续再提炼一篇基于梯度下降的算法总结。5. 多分类的扩展应用对于逻辑回归到这里我们已经将基本的框架搭好了。值得说明的一点是线性回归中容易过拟合的问题在逻辑回归中仍然存在所以有必要在损失函数上添加正则项正则项的添加已经在线性回归中介绍这里不再重复。最后将二分类的逻辑回归扩展到多分类(N个类别)主要有两种方法一种方法是One VS One每个类别两两配对训练共训练 个模型最后结果由投票的方式给出另一种方法One VS Rest,将每一类别与其他所有类别配成一对训练共训练 个模型最后结果由概率最大的类别胜出。6.结束语逻辑回归是线性回归分析的扩展其通过逻辑函数将回归值映射为概率值实现了对分类问题的处理。下一篇作者将介绍逻辑回归的好伙伴支持向量机并详细介绍它们之间的区别与联系有兴趣的可以继续关注噢。上一篇监督学习(1)|一文搞懂线性回归lasso回归岭回归zhuanlan.zhihu.com下一篇监督学习(3)|支持向量机zhuanlan.zhihu.com
