DL——softmax遇上交叉熵损失时的梯度计算

Posted on

softmax

基本定义

展开定义

softmax求导

交叉熵定义

Cross Entropy Loss

梯度计算

偏置量的梯度

权重参数的梯度

同偏置量的梯度计算相似步骤可得