損失函數講解合集
binary_crossentropy
categorical_crossentropy
概述
本文講解的是binary_crossentropy損失函數，其實網上有些講解把binary_crossentropy和categorical_crossentropy損失函數混淆了，本文將通過數學公式+代碼的形式講解，看完這篇可以看一下categorical_crossentropy，思考它們的區別。
正文
公式分析
binary_crossentropy損失函數的公式如下（一般搭配sigmoid激活函數使用）：
根據公式我們可以發現，i∈[1,output_size] 中每個i是相互獨立的，互不干擾，因此它一般用於多標籤分類（yolov3的分類損失函數就是用這個），比如說我們有標籤 ‘人’，‘男人’， ‘女人’ ，如果使用categorical_crossentropy，由於它的數學公式含義，標籤只能是其中一個，而binary_crossentropy各個i是相互獨立的，意味着是有可能出現一下這種情況：（舉例）
‘人’ 標籤的概率是0.9， ‘男人’ 標籤概率是0.6，‘女人’ 標籤概率是0.3。
那麼我們有足夠的說服力斷定他是 ‘人’，並且很可能是 ‘男人’。
代碼分析
接下來我分別用tensorflow的api，以及列出詳細結算過程這兩種方法帶大家體驗一下計算。
舉例1：當batch_size爲1，標籤總數爲1，即輸出shape爲(1,1,1)時
使用tensorflow api計算：
import tensorflow as tf
y_true = [[[0.]]]
y_pred = [[[0.5]]]
loss = tf.keras.losses.binary_crossentropy(y_true, y_pred)
loss.numpy()
輸出：
array([[0.69314694]], dtype=float32)
根據公式計算：
loss = -(1/1)*( 0*tf.math.log(0.5) +(1-0)*tf.math.log(1-0.5))
loss
輸出：
<tf.Tensor: shape=(), dtype=float32, numpy=0.6931472>
可以看到它們結果一樣
舉例2：當batch_size爲1，標籤總數爲4，即輸出shape爲(1,1,4)時
使用tensorflow api計算：
import tensorflow as tf
y_true = [[[0.,1,0.,1]]]#這裏設兩個標籤
y_pred = [[[0.5,0.8,0.3,0.5]]]
loss = tf.keras.losses.binary_crossentropy(y_true, y_pred)
loss.numpy()
輸出：
array([[0.49152803]], dtype=float32)
根據公式計算：
loss = -(1/4)*( (0*tf.math.log(0.5) +(1-0)*tf.math.log(1-0.5)) +
(1*tf.math.log(0.8) +(1-1)*tf.math.log(1-0.8)) +
(0*tf.math.log(0.3) +(1-0)*tf.math.log(1-0.3)) +
(1*tf.math.log(0.5) +(1-1)*tf.math.log(1-0.5)) )
loss
輸出：
<tf.Tensor: shape=(), dtype=float32, numpy=0.4915282>
可以看到它們結果一樣