python交叉熵函数 numpy 交叉熵

Pytorch-交叉熵

一条信息的信息量大小和它的不确定性有很大的关系 。一句话如果需要很多外部信息才能确定，我们就称这句话的信息量比较大。比如你听到“云南西双版纳下雪了”，那你需要去看天气预报、问当地人等等查证（因为云南西双版纳从没下过雪）。相反，如果和你说“人一天要吃三顿饭”，那这条信息的信息量就很小，因为这条信息的确定性很高。

那我们就能将事件 的信息量定义如下（其中 表示事件 发生的概率）：

信息量是对于单个事件来说的 ，但是实际情况一件事有很多种发生的可能，比如掷骰子有可能出现6种情况，明天的天气可能晴、多云或者下雨等等。 熵是表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望 。公式如下：

的曲线如下：

结合熵的公式（2）以及 曲线，当这些所有可能发生事件的概率比较小（接近0）或者比较大（接近1）时，熵的值会比较小；如果事件发生的概率既远离0也远离1时，熵的值就会比较大。

例如，如下三组事件比较：

1）事件概率均等，[0.2500, 0.2500, 0.2500, 0.2500]，熵为2；

2）事件概率比较靠近0或者1，[0.1, 0.1, 0.1, 0.7]，熵为1.3568；

3）事件概率极其靠近0或者1，[0.001, 0.001, 0.001, 0.999]，熵为0.0313.

熵的一种比较特殊的情况就是掷硬币 ，只有正、反两种情况，该种情况（二项分布或者0-1分布）熵的计算可以简化如下：

其中， 表示正面概率。

相对熵又称KL散度，用于衡量对于同一个随机变量 的两个分布 和 之间的差异 。在机器学习中， 常用于描述样本的真实分布 ，例如[1,0,0,0]表示样本属于第一类，而 则常常用于表示预测的分布 ，例如[0.7,0.1,0.1,0.1]。显然使用q(x)来描述样本不如 准确， 需要不断地学习来拟合准确的分布 。

KL散度的公式如下：

KL散度的值越小表示两个分布越接近。

我们将KL散度的公式进行变形，得到：

前半部分就是 的熵，后半部分就是我们的交叉熵：

机器学习中，我们常常使用KL散度来评估predict和label之间的差别，但是由于KL散度的前半部分是一个常量，所以我们常常将后半部分的交叉熵作为损失函数，其实二者是一样的。

交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。

ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时，当发现自己犯的错误越大时，改正的力度就越大。比如投篮：当运动员发现自己的投篮方向离正确方向越远，那么他调整的投篮角度就应该越大，篮球就更容易投进篮筐。同理， 我们希望：ANN在训练时，如果预测值与实际值的误差越大，那么在反向传播训练的过程中，各种参数调整的幅度就要更大，从而使训练更快收敛。 然而，如果使用二次代价函数训练ANN，看到的实际效果是，如果误差越大，参数调整的幅度可能更小，训练更缓慢。

以一个神经元的二类分类训练为例，进行两次实验（ANN常用的激活函数为sigmoid函数，该实验也采用该函数）：输入一个相同的样本数据x=1.0（该样本对应的实际分类y=0）；两次实验各自随机初始化参数，从而在各自的第一次前向传播后得到不同的输出值，形成不同的代价（误差）：

在实验1中，随机初始化参数，使得第一次输出值为0.82（该样本对应的实际值为0）；经过300次迭代训练后，输出值由0.82降到0.09，逼近实际值。而在实验2中，第一次输出值为0.98，同样经过300迭代训练，输出值只降到了0.20。

从两次实验的代价曲线中可以看出： 实验1的代价随着训练次数增加而快速降低，但实验2的代价在一开始下降得非常缓慢；直观上看，初始的误差越大，收敛得越缓慢。

其实，误差大导致训练缓慢的原因在于使用了二次代价函数。二次代价函数的公式如下：

其中， 表示代价， 表示样本， 表示实际值， 表示输出值， 表示样本的总数。为简单起见，同样一个样本为例进行说明，此时二次代价函数为：

目前训练ANN最有效的算法是反向传播算法 。简而言之，训练ANN就是通过反向传播代价，以减少代价为导向，调整参数。参数主要有：神经元之间的连接权重 ，以及每个神经元本身的偏置 。调参的方式是采用梯度下降算法（Gradient descent），沿着梯度方向调整参数大小。 和 的梯度推导如下：

其中， 表示神经元的输入， 表示激活函数。从以上公式可以看出， 和 的梯度跟激活函数的梯度成正比，激活函数的梯度越大， 和 的大小调整得越快，训练收敛得就越快。而神经网络常用的激活函数为sigmoid函数，该函数的曲线如下所示：

如图所示， 实验2的初始输出值（0.98）对应的梯度明显小于实验1的输出值（0.82），因此实验2的参数梯度下降得比实验1慢。这就是初始的代价（误差）越大，导致训练越慢的原因。 与我们的期望不符，即：不能像人一样，错误越大，改正的幅度越大，从而学习得越快。

可能有人会说，那就选择一个梯度不变化或变化不明显的激活函数不就解决问题了吗？那样虽然简单粗暴地解决了这个问题，但可能会引起其他更多更麻烦的问题。而且，类似sigmoid这样的函数（比如tanh函数）有很多优点，非常适合用来做激活函数，具体请自行google之。

换个思路，我们不换激活函数，而是换掉二次代价函数，改用交叉熵代价函数：

其中， 表示样本， 表示样本的总数。那么，重新计算参数 的梯度：

因此， 的梯度公式中原来的 被消掉了；另外，该梯度公式中的 表示输出值与实际值之间的误差。所以，当误差越大，梯度就越大，参数 调整得越快，训练速度也就越快。 实际情况证明，交叉熵代价函数带来的训练效果往往比二次代价函数要好。

在实际分类任务中，要先将输出层的输出值经过Softmax函数，再经过log函数，最后才用交叉熵损失函数计算损失。

pytorch中有计算交叉熵损失的接口，即 F.cross_entropy() ，不过该接口包含了Softmax函数、log函数、交叉熵损失函数。也就是说 F.cross_entropy() = F.softmax() + torch.log() + F.nnl_loss() 。即使如此，也要使用 F.cross_entropy() ，不仅是因为它简单，更因为它能保证数值稳定。

机器学习的过程就是希望在训练数据熵 模型学到的分布 和 真实的分布 越近越好，我们知道KL散度可以表示两个分布之间的不同。

但我们没有真实数据的分布，那么只能退而求其次，希望模型学到的分布和训练数据的分布 ，也就是把训练数据当做模型和真实数据之间的代理人 。假设训练数据是从总体中独立同步分布采样(Independent and identically distributed sampled)而来，那么我们可以利用最小化训练数据的经验误差来降低模型的泛化误差。简单说：

由此非常理想化的看法是如果 模型(左) 能够学到 训练数据(中) 的分布，那么应该近似的学到了 真实数据(右) 的分布： 近似于 近似于

简单的交叉熵，你真的懂了吗？

交叉熵损失函数

相关问答

Q1: pytorch 常用函数参数详解

1、torch.cat(inputs, dim=0) - Tensor 

参考链接：

[Pytorch] 详解 torch.cat()

Pytorch学习笔记(一)：torch.cat()模块的详解

函数作用：cat 是 concatnate 的意思：拼接，联系在一起。在给定维度上对输入的 Tensor 序列进行拼接操作。torch.cat 可以看作是 torch.split 和 torch.chunk 的反操作

参数：

inputs(sequence of Tensors)：可以是任意相同类型的 Tensor 的 python 序列

dim(int, optional)：defaults=0

dim=0: 按列进行拼接 

dim=1: 按行进行拼接

dim=-1: 如果行和列数都相同则按行进行拼接，否则按照行数或列数相等的维度进行拼接

假设 a 和 b 都是 Tensor，且 a 的维度为 [2, 3]，b 的维度为 [2, 4]，则

torch.cat((a, b), dim=1) 的维度为 [2, 7]

2、torch.nn.CrossEntropyLoss()

函数作用：CrossEntropy 是交叉熵的意思，故而 CrossEntropyLoss 的作用是计算交叉熵。CrossEntropyLoss 函数是将 torch.nn.Softmax 和 torch.nn.NLLLoss 两个函数组合在一起使用，故而传入的预测值不需要先进行 torch.nnSoftmax 操作。

参数：

input(N, C)：N 是 batch_size，C 则是类别数，即在定义模型输出时，输出节点个数要定义为 [N, C]。其中特别注意的是 target 的数据类型需要是浮点数，即 float32

target(N)：N 是 batch_size，故 target 需要是 1D 张量。其中特别注意的是 target 的数据类型需要是 long，即 int64

例子：

loss = nn.CrossEntropyLoss()

input = torch.randn(3, 5, requires_grad=True, dtype=torch.float32)

target = torch.empty(3, dtype=torch.long).random_(5)

output = loss(input, target)

output

输出为：

tensor(1.6916, grad_fn=NllLossBackward)

Q2: 交叉熵损失函数是什么？

平滑函数。

交叉熵损失函数，也称为对数损失或者logistic损失。当模型产生了预测值之后，将对类别的预测概率与真实值（由0或1组成）进行不比较，计算所产生的损失，然后基于此损失设置对数形式的惩罚项。

在神经网络中，所使用的Softmax函数是连续可导函数，这使得可以计算出损失函数相对于神经网络中每个权重的导数（在《机器学习数学基础》中有对此的完整推导过程和案例，这样就可以相应地调整模型的权重以最小化损失函数。

扩展资料：

注意事项：

当预测类别为二分类时，交叉熵损失函数的计算公式如下图，其中y是真实类别（值为0或1），p是预测类别的概率（值为0~1之间的小数）。

计算二分类的交叉熵损失函数的python代码如下图，其中esp是一个极小值，第五行代码clip的目的是保证预测概率的值在0~1之间，输出的损失值数组求和后，就是损失函数最后的返回值。

参考资料来源：百度百科-交叉熵

参考资料来源：百度百科-损失函数

Q3: Tensorflow四种交叉熵函数计算公式

转自：

注意 ：tensorflow交叉熵计算函数输入中的logits都不是softmax或sigmoid的 输出 ，而是softmax或sigmoid函数的 输入 ，因为它在 函数内部进行sigmoid或softmax操作

tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)

参数:    _sentinel:本质上是不用的参数，不用填

           logits:一个数据类型（type）是float32或float64;

           shape:[batch_size,num_classes],单样本是[num_classes]

           labels:和logits具有相同的type(float)和shape的张量(tensor)，

           name:操作的名字，可填可不填

输出:

           loss，shape:[batch_size,num_classes]

Note: 它对于输入的logits先通过sigmoid函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出。它适用于每个类别相互独立但互不排斥的情况：例如一幅图可以同时包含一条狗和一只大象。output不是一个数，而是一个batch中每个样本的loss,所以一般配合tf.reduce_mea(loss)使用

计算公式：

Python 程序：

输出的E1，E2结果相同

tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)argument:

_sentinel: 本质上是不用的参数，不用填

logits:一个数据类型（type）是float32或float64;

shape :[batch_size,num_classes]

labels:和logits具有相同type和shape的张量(tensor)，,是一个有效的概率，sum(labels)=1, one_hot=True(向量中只有一个值为1.0，其他值为0.0)

name:操作的名字，可填可不填

output: loss，shape:[batch_size]

Note: 它对于输入的logits先通过softmax（ 不同于sigmoid ）函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出。它适用于每个类别相互独立且排斥的情况，一幅图只能属于一类，而不能同时包含一条狗和一只大象。output不是一个数，而是一个batch中每个样本的loss,所以一般配合tf.reduce_mean(loss)使用。

计算公式：

Python程序：

import tensorflow as tf

import numpy as np

def softmax(x):

    sum_raw = np.sum(np.exp(x),axis=-1)

    x1 = np.ones(np.shape(x))

    for i in range(np.shape(x)[0]):

        x1[i] = np.exp(x[i])/sum_raw[i]

    return x1

y = np.array([[1,0,0],[0,1,0],[0,0,1],[1,0,0],[0,1,0]])#每一行只有一个1

logits =np.array([[12,3,2],[3,10,1],[1,2,5],[4,6.5,1.2],[3,6,1]])

y_pred =softmax(logits)

E1 = -np.sum(y*np.log(y_pred),-1)

print(E1)

sess = tf.Session()

y = np.array(y).astype(np.float64)

E2 = sess.run(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=logits))

print(E2)

输出的E1，E2结果相同

tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None,labels=None,logits=None, name=None)

argument:

_sentinel:本质上是不用的参数，不用填

logits:一个数据类型（type）是float32或float64;

shape:[batch_size,num_classes]

labels: shape为[batch_size],labels[i]是{0,1,2,……,num_classes-1}的一个索引, type为int32或int64

name:操作的名字，可填可不填

output:

loss，shape:[batch_size]

Note:它对于输入的logits先通过softmax函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出

它适用于每个类别相互独立且排斥的情况，一幅图只能属于一类，而不能同时包含一条狗和一只大象

output不是一个数，而是一个batch中每个样本的loss,所以一般配合tf.reduce_mean(loss)使用

计算公式：

和tf.nn.softmax_cross_entropy_with_logits()一样，只是要将labels转换成tf.nn.softmax_cross_entropy_with_logits()中labels的形式

tf.nn.weighted_cross_entropy_with_logits(labels,logits, pos_weight, name=None)

计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits（）

argument:

_sentinel:本质上是不用的参数，不用填

logits:一个数据类型（type）是float32或float64;

shape:[batch_size,num_classes],单样本是[num_classes]

labels:和logits具有相同的type(float)和shape的张量(tensor)，

pos_weight:正样本的一个系数

name:操作的名字，可填可不填

output:

loss，shape:[batch_size,num_classes]

计算公式：

关于python交叉熵函数和numpy 交叉熵的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。