PyTorch——CrossEntopyLoss和NLLLoss的区别

---

NLLLoss

• 使用

  torch.nn.NLLLoss()

• 具体操作

  • 返回负对数似然损失(The negative log likelihood loss)
  • 虽然命名是负对数自然损失, 但是实际上本函数不含有log操作,本函数假设log操作在输入前已经完成了

• 常用于分类问题的损失函数

• 一般适用于网络最后一层为log_softmax的时候

计算公式

• 单个样本的计算公式:
  • 普通样本计算公式:
    $$loss(x, class) = -x[class]$$
  • 带有权重的单个样本计算公式:
    $$loss(x, class) = -weights[class] * x[class]$$
  • 因为多类别分类中,类别中只有一个维度是1, 其他维度都是0, 所以在计算时只考虑为1的维度就行, 为0的维度与当前类别值相乘为0
    • (在这里我们存储的不是向量,而是该为1的维度的索引,所以使用-x[class]即可直接取出该样本对应的对数似然损失,其中,取对数的操作在输入前已经完成了)
• 批量样本的计算公式:
  • size_average=True(default):
    $$all\_loss = \frac{1}{mini\_batch\_size}\sum_i loss(x_i, class_i)$$
  • size_average=False:
    $$all\_loss = \sum_i loss(x_i, class_i)$$

---

CrossEntropyLoss

• 使用

  torch.nn.CrossEntropyLoss()

• 具体操作

  • 等价于 log_softmax + torch.nn.NLLLoss()
  • 先对网络输出做对数似然, 然后再

• softmax的定义
  $$softmax(x_{i}) = \frac{e^{x_{i}}}{\sum_{j=1}x_{j}}$$

• log_softmax的定义
  $$log(softmax(x_{i}))$$

  • 注意: 这里的log是以e为底的对数

为什么是这种实现方式?

• 为什么是log_softmax + torch.nn.NLLLoss()的方式而不是普通的计算方式
  • 普通的计算方式是直接对每个概率求出log值, 然后相加, 本质上是一样的
  • CrossEntropyLoss中多了个softmax是为了保证输入都是概率值
• log(softmax(x))的优化
  • 实际上使用的是log_softmax(x)
  • log_softmax(x)的运算速度比单独计算softmax + log的速度快
  • 同时二者的运算结果相同
  • 文档中没有提到, 但是一种可能的优化方法是
    $$\begin{align} log_sofmax(x) &= log \frac{e^{x_{i}}}{\sum_{j=1}x_{j}} \\ &= log e^{x_i} - log \sum_{j=1}x_{j} \\ &= x_i - log \sum_{j=1}x_{j} \end{align}$$
  • 上面的式子中,只需要计算一次 $log \sum_{j=1}x_{j}$即可(且不同维度可重用该值), 其他的都是加减法运算

相关损失函数 BCELoss

• 使用

  torch.nn.BCELoss()

• 具体操作

  • 就是实现了书上定义的二分类交叉熵定义

计算公式:

• 单个样本的计算公式:
  • 普通样本计算公式:
    $$loss(o,t)=-\frac{1}{n}\sum_i(t[i] log(o[i])+(1-t[i]) log(1-o[i]))$$
  • 带有权重的单个样本计算公式:
    $$loss(o,t)=-\frac{1}{n}\sum_iweights[i]\ (t[i]log(o[i])+(1-t[i])* log(1-o[i]))$$
  • 因为多类别分类中,类别中只有一个维度是1, 其他维度都是0, 所以在计算时只考虑为1的维度就行, 为0的维度与当前类别值相乘为0
    • (在这里我们存储的不是向量,而是该为1的维度的索引,所以使用-x[class]即可直接取出该样本对应的对数似然损失,其中,取对数的操作在输入前已经完成了)
• 批量样本的计算公式:
  • size_average=True(default):
    $$all\_loss = \frac{1}{mini\_batch\_size}\sum_i loss(o_i, t_i)$$
  • size_average=False:
    $$all\_loss = \sum_i loss(o_i, t_i)$$

BCELoss vs CrossEntropyLoss

• BCELoss对应的网络只有一个输出值
• CrossEntropyLoss对应的网络有两个输出值
• 可以证明, 二分类时BCELoss 与 CrossEntropyLoss等价
  • 证明时, 将每个CrossEntropyLoss的计算公式中的 softmax 函数分子分母同时除以shift, 即可得到为下面的定义, 进一步可得到BCELoss的计算公式
    $$f_i(x) = \frac{e^{(x_i - shift)}} { \sum^j e^{(x_j - shift)}},shift = max (x_i)$$

相关损失函数 MultiLabelMarginLoss

• 使用

  torch.nn.MultiLabelMarginLoss()

• 用于多标签分类的损失函数

---

总结

• 一般来说直接使用CrossEntropyLoss即可
  • 二分类时还可以使用nn.BCELoss
  • 二分类时使用nn.BCELoss的话,输入的input和target维度都为n * 1的维度
  • 二分类时使用CrossEntropyLoss则输入的input为n * 2的维度
• 如果使用NLLLoss则一定记得在输出层最后加一层log_softmax层
• 注意,log指的是以e为底的对数函数,而不是以10为底的
  • Mac自带的计算器中log是以10为底的,ln才是以e为底的