原创 1.激活函數
Sigmoid Tanh: Rectified Linera Unit (ReLU) Leaky Linear Unit (Leaky ReLu)
2020-06-26 02:02:36
1
原创 RMSprob & Adam
RMSprob (root mean square prob) Adam: adam 結合了Momentum和RMSprop兩種算法： # GRADED FUNCTION: update_parameters_with_ada
2020-02-25 18:52:37
原创 機器學習之神經網絡
5.神經網絡 對於單個人工神經網絡ANN(Artificial Neural Network)來說，他們往往都是通過多層神經元結構連接組成，並且神經網絡中的每層神經元網絡都擁有輸入和輸出，每層都是由多個神經元結構組成。一般多層人工
2020-02-25 18:52:37
原创 Dropout 正則化 隨機失活
在每次迭代中，隨機失活（1-keep_prob)%的神經元，使得keep_prob%的神經元保持正常運轉。這些失活的神經元將不會接下來的前向傳播和反向傳播傳遞數據。 當關閉一些神經元時，你實際上修改了你的模型。隨機失活背後的思想是，在
2020-02-25 18:52:37
原创 梯度消失/梯度爆炸
訓練神經網絡，尤其是深度神經網絡所面臨的一個問題就是梯度消失和梯度爆炸，也就是當訓練神經網絡的時候，導數或者坡度有時會變得非常大，或者非常小，甚至於以指數方式變大或者變小，這加大了訓練的難度。 神經網絡的權重初始化：
2020-02-25 18:52:37
原创 梯度下降
梯度下降 Mini-Batch Gradient Descent 1.打亂數據。 將輸入的數據x和結果y,進行同步的隨機打亂。 2.分區。 將打亂後的數據進行分區，每個含有mini_batch_size大小個數據。 3.按照
2020-02-25 18:52:37
原创 DCGAN 生成二次元頭像
8. DCGAN 2019/11/10 GAN, 又稱生成對抗網絡, 也是 Generative Adversarial Nets 的簡稱 我們知道自然界的生物無時無刻都不在相互對抗進化，生物在往不被天敵發現的方向進化， 而天敵
2020-02-25 18:52:37
原创 動量梯度下降法： Gradient Descent With Momentum
動量梯度下降法： Gradient Descent With Momentum 1.指數加權移動平均： 2.指數加權平均的偏差修正： 如圖所示：紫色圖爲這些點集的加權平均，但很顯然在剛開始的時候，加權平均不能很好估測數據。所
2020-02-25 18:52:37
原创 機器學習之神經網絡
神經網絡 對於單個人工神經網絡ANN(Artificial Neural Network)來說，他們往往都是通過多層神經元結構連接組成，並且神經網絡中的每層神經元網絡都擁有輸入和輸出，每層都是由多個神經元結構組成。一般多層人工神經網絡
2019-09-06 09:30:59
原创 機器學習之誤差反向傳播算法
誤差反向傳播算法 我們知道神經網絡是由大量的參數即權重構成，神經網絡的學習過程則是這些參數的變化更新過程。誤差反向傳播算法就是用於更新這些參數的。這裏我們假設激活函數爲Sigmoid。 Ps: 在吳恩達機器學習反向傳播算法課
2019-09-06 09:30:59
2
原创 機器學習之正則化
正則化可以用來改善或者減少過擬合問題 處理過擬合問題有以下方法： 1.丟棄一些不能幫助我們正確預測的特徵 2.正則化。保留所有的特徵，但是減少參數大小 過擬合問題：一般是因爲擬合函數參數過多，含有過多高次項參數，使得擬合函數盡
2019-09-05 09:48:20
原创 機器學習之梯度下降
Batch 梯度下降（Batch Gradient Descent) 擬合函數 損失函數 是第i個訓練樣本的目標輸出 是第i個訓練樣本的實際
2019-09-05 09:48:20
原创 機器學習之特徵縮放
特徵縮放使得梯度下降速度更快，迭代次數更少 1.特徵縮放： 將特徵取值縮放到[-1, 1] 2.均值歸一化： x = (x - average) / (max - min) 3.標準化： 量化的特徵將服從標準正態分佈
2019-09-05 09:48:20
原创 機器學習之邏輯迴歸
由於Logistic迴歸面對的是分類問題，其結果是離散的，因此我們使用Sigmoid函數進行擬合分類。 if g > 0.5 Y = 1 if g <= o.5 Y = 0 在線性迴歸中我們使用
2019-09-05 09:48:20
原创 自定義控件繼承View------Music
public class MusicView extends View { private Paint paint; private int count; private float offetx; private float left
2018-09-06 04:41:16