TensorFlow训练神经网络cost一直为0

点击量:363

问题描述

这几天在用TensorFlow搭建一个神经网络来做一个binary classifier,搭建一个典型的神经网络的基本思路是:

  • 定义神经网络的layers(层)以及初始化每一层的参数
  • 然后迭代:
    • 前向传播(Forward propagation)
    • 计算cost(Compute cost)
    • 反向传播(Backward propagation)
    • 更新参数(Update parameters)
  • 使用训练好的参数去做预测

在训练的时候发现了一个很奇怪的现象:每一次迭代所有的cost都为0。一开始以为是参数初始化出了问题,花了好多时间在上面。后来仔细研究了一下发现是最后一层的输出函数用错了,我用的是tf.nn.softmax_cross_entropy_with_logits来计算cost。 我们知道softmax一般是用来做multiclass classifier的,也就是输出的类别要大于两个。对于一个binary classifier而言,很明显我们要用sigmoid函数也就是tf.nn.sigmoid_cross_entropy_with_logits来计算cost,于是问题解决。

为什么?

那么为什么在binary classifier中使用了softmax之后cost就一直是0呢?我们先来看一下softmax的公式:

$$
s(z)_{j} = \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}}
$$

  • binary classifier的output是一维的(one-dimension 0/1),那么如果只有一个元素,那么s(z)就永远等于1,不管z的值是多少。
  • 恒定输出1之后,我们结合交叉熵的计算公式可知:
    • 如果true label是0,那么 -0*log(1) = 0
    • 如果true label是1,那么 -1*log(1) = 0

发表评论

电子邮件地址不会被公开。 必填项已用*标注