Softmax求導計算

原創

2020-02-21 02:02

Softmax求導計算

[Softmax][6]
學習神經網絡中的softmax分類器

總的類別概率的和爲1
求導：
1.當前類別的概率值對當前輸入參數的求導，即dyi/dzi
求導類型爲
$f(x) = \frac{e^{x}}{b+e^{x}}$
計算過程如下：

2.當前節點的概率值對其它節點的輸入參數求導，即dyj/dyi
求導類型爲
$f(x) = \frac{a}{b+e^{x}}$
計算過程如下

代價函數使用互熵

求cross-entropy對輸出層的參數zi求導，
$\frac{dC}{dz}_{i}$ ， ${y}_{i} = f({z}_{i})$
因此 $\frac{dC}{{dz}_{i}} = \frac{dC}{dy}\cdot \frac{dy}{{dz}_{i}}$ ,C的值由所有的輸出節點y決定，而需要求導的變量zi又影響到所有的y，因此C對zi的求導需要分別對所有節點y進行，即其中的yi i= 1,2,3……J；也就有了上圖中的求和符號
手工推導過程如下

發佈了50 篇原創文章 · 獲贊 93 · 訪問量 14萬+

發表評論

所有評論

還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.

相關文章

論文翻譯——基於數據的最優直方圖

On Optimal and Data-Based Histograms Author(s) : David W. Scott Source : Biometrika, Vol. 66, No. 3 (Dec., 1979), p

2020-07-05 03:49:27

正規化和模型選擇(Regularization and model selection)

對於某個學習問題，我們如何在幾種不同的模型中進行選擇。例如，如果我們使用一個多項式迴歸模型hθ(x)=g(θ0+θ1x+θ2x2+…+θkxk)h_\theta(x) = g(\theta_0 + \theta_1x + \th

2020-07-05 03:49:27

資料翻譯——核密度估計簡介

An introduction to kernel density estimation These notes are an edited version of a seminar given by Tarn Duong on

2020-07-05 03:49:27

論文翻譯——用於大型社交網絡的推薦系統：主要挑戰及解決方案回顧

Recommender Systems for Large-Scale Social Networks: A review of challenges and solutions Punished in: ELSEVIER, Vo

2020-07-05 03:49:27

MNIST數據集格式轉化

MNIST數據集是ubyte格式存儲的，現在轉化爲png格式：訓練集： import numpy as np import struct from PIL import Image import os data_file

2020-07-02 01:58:14

機器學習: 邏輯迴歸(Logistic Regression) 小項目

該項目的所有代碼在我的github上，歡迎有興趣的同學與我探討研究~ 地址：Machine-Learning/machine-learning-ex2/ 1. Introduction 邏輯迴歸(Logistic Regres

2020-07-01 21:05:53

機器學習：手寫數字識別(Hand-written digits recognition)小項目

該項目的所有代碼在我的github上，歡迎有興趣的同學與我探討研究~ 地址：Machine-Learning/machine-learning-ex3/ 1. Introduction 手寫數字識別(Hand-written

2020-07-01 21:05:52

GBDT- gradient boosting decision tree

to be continued … 決策樹談森林之前，先說一說決策樹。小藍書裏說，決策樹可以看作是if-then規則的集合。就是將空間用超平面進行劃分，每次都一分爲二，每個葉子節點（即類別）都是在空間中不相交的區域。對於訓練數

2020-07-01 03:21:08

1 - 統計學習方法概論

1 統計學習 statistical learning: 基於數據構建概率統計模型並運用模型對數據進行預測與分析的一門學科。統計學習也稱統計機器學習(statistical machine learning)。現在，當人們提及機器

2020-06-29 14:09:08

LLE（locally linear embedding）原理介紹

LLE原理局部線性嵌入（Locally Linear Embedding, LLE）是無監督非線性降維算法，是流行學習的一種。 LLE和Isomap一樣試圖在降維過程中保持高維空間中的流形結構。Isomap把任意兩個樣本點之間

2020-06-27 04:41:13

method_LLE(Locally linear embdding)

局部線性嵌入(Locally Linear Embedding，以下簡稱LLE)也是非常重要的降維方法。和傳統的PCA，LDA等關注樣本方差的降維方法相比，LLE關注於降維時保持樣本局部的線性特徵，由於LLE在降維時保持了

2020-06-27 04:41:13

機器學習中的最優化方法進階

前言：在機器學習方法中，若模型理解爲決策模型，有些模型可以使用解析方法。不過更一般的對模型的求解使用優化的方法，更多的數據可以得到更多的精度。一、線性規劃線性規劃、整數規劃、目標規劃等

2020-06-27 04:41:13

method_LPP(Locality preserving projections)

本文是對何曉飛老師的論文Locality Preserving Projections及其代碼的一些簡單j介紹，論文及代碼均可以在何老師主頁上下載。一、LPP簡介線性投影映射最優化地保存了數據集的鄰近結構與PCA可作

2020-06-27 04:41:13

algo_KNN(k-nearest neighbor)

1 k-NN算法 k-近鄰（k-Nearest Neighbors, k-NN）算法是機器學習中非常簡單的一個算法，可以用於分類和迴歸問題。其基本思想是，在特徵空間中接近的兩個實例，其類別/函數值也接近。對實例x，找到訓練樣

2020-06-27 04:41:13

模型誤差的來源

誤差有兩個方面：bias和variance。簡單的模型（如線性模型），variance比較小，且不容易受樣品數據影響，不易過擬合。與此相反，複雜的模型的bias比較小。如果你的模型都不能擬合訓練數據，訓練error比較大，

2020-06-26 22:07:45

24小時熱門文章

最新文章

最新評論文章