南阳美容网站建设,如何进行关键词优化工作,用哪个平台做网站好,注册个小公司要交税吗本文主要介绍了当前机器学习模型中广泛应用的交叉熵损失函数与softmax激励函数。
这个损失函数主要应用于多分类问题#xff0c;用于衡量预测值与实际值之间的相似程度。
交叉熵损失函数定义如下: LCE(y^,y∗)−∑i1Nclassesyi∗log(yi^)L_{CE}(\hat{y}, y^*) - \sum_{i1}^…
本文主要介绍了当前机器学习模型中广泛应用的交叉熵损失函数与softmax激励函数。
这个损失函数主要应用于多分类问题用于衡量预测值与实际值之间的相似程度。
交叉熵损失函数定义如下: LCE(y^,y∗)−∑i1Nclassesyi∗log(yi^)L_{CE}(\hat{y}, y^*) - \sum_{i1}^{Nclasses} y_i^*log(\hat{y_i})LCE(y^,y∗)−i1∑Nclassesyi∗log(yi^)
其中 y^\hat{y}y^ 为预测向量y∗y^*y∗为真实标签向量。在多分类问题机器学习中y∗y^*y∗ 一般使用独热编码。例如在一个三分类问题中 y∗y^*y∗向量的维度就是三维对应属于某一类则该位为1其余位为0。第一类对应的真实标签向量即为[1,0,0]T[1, 0, 0]^T[1,0,0]T第二类对应的真实标签向量为[0,1,0][0,1,0][0,1,0] 等等以此类推。
很显然对于这个损失函数而言取到最小值的时候就是当求和部分取得最大值即预测向量与标签向量相似度最大时其乘积也最大。以下图为例例如该类真实标签为Class2当向量y^\hat{y}y^的第二项趋向于于1此时损失函数取得最小值我们也保证了预测值与真实值之间的误差最小了。 很显然这里我们有两个问题其一是为什么要使用预测值的log函数值与真实的标签相乘而不直接使用两者原始值相乘。其原因在于由于我们的概率范围总是在0-1之间直接获取乘积往往会使得不同的损失之间的差别不大不利于我们进一步通过这个误差来优化我们的模型。
第二个问题是如何保证预测向量满足概率分布。我们都知道标签向量y∗y^*y∗ 由于使用了独热编码因此他永远满足概率分布即∑p(x)1\sum p(x) 1∑p(x)1但是我们的预测向量 y^\hat{y}y^ 却不一定。这里就要用到我们的softmax激励函数了。简单的来说softmax函数就帮助我们将一个随机数值的向量转化为了一个所有值在0-1之间且和为1的向量以满足概率分布关系。softmax函数的定义如下: yt,ke(yt,k)∑ke(yt,k)y_{t,k} \frac{e^{(y_{t,k})}}{\sum_ke^{(y_{t,k})}}yt,k∑ke(yt,k)e(yt,k) 其中下标t对应第t个样本k对应输出层的第k个神经元。softmax函数首先将所有输出层神经元对应的值通过指数函数转换为正值再通过归一化处理除以他们的指数函数值之和以保证所有项对应的值之和为1。 通过softmax函数构建概率分布再通过交叉熵我们就构建了交叉熵损失函数。
