損失函數

損失函數

標籤（空格分隔）： Tensorflow

---

均方誤差 （mean square error）：

$E=\frac{1}{2}\sum_{k}{(y_k-t_k)}^2$

• $y_k$: 神經網絡的輸出
• $t_k$: 監督數據
• $k$： 數據的維數

交叉熵誤差（cross entropy error）：

$E=-\sum_{k}{t_klog{y_k}}$

• $y_k$: 神經網絡的輸出
• $t_k$: 監督數據
• $k$： 數據的維數
  注：$t_k$中只有正確解標籤的索引爲1，其餘均爲0（one-hot)表示。因此，上述公式實際上只計算對應正確標籤解的輸出的自然對數。

mini-batch學習

計算損失函數時，必須將所有的訓練數據作爲對象。之前的損失函數都是針對單個數據計算。如果要求所有訓練數據的損失函數的總和，以交叉熵爲例，公式如下：

$E=-\frac{1}{N}\sum_n\sum_kt_{nk}logy_{nk}$