原创 DeepLearnToolbox中SAE代碼理解
Dropout是指在模型訓練時隨機讓網絡某些隱含層節點的權重不工作，不工作的那些節點可以暫時認爲不是網絡結構的一部分，但是它的權重得保留下來（只是暫時不更新而已），因爲下次樣本輸入時它可能又得工作了。 訓練神經網絡模型時，如果訓
2020-06-17 10:33:14
1
原创 統計學3
正態分佈 這一節我們將講統計學中最重要的概念，甚至是任何科學領域中最重要的概念，因爲它在生活中無處不在，就是正態分佈，或者叫高斯分佈或鐘形曲線。 使用Excel可以說明，二項分佈在試驗次數足夠時會很接近正態分佈。從圖中可以看出均
2020-06-17 09:40:37
原创 Neural Networks學習筆記
1、神經網絡（Neural Networks） 用nl 表示網絡層數，本例中nl=3 ，將第l 層記爲Ll ，於是L1 是輸入層，Lnl 是輸出層。本例神經網絡有參數 ，其中，，，。 我們用表示第l 層第i 單元的激活值（
2020-02-25 06:26:39
原创 線性代數學習筆記3
第五集 向量空間 我們可以對向量進行所謂“線性運算”，即通過加和（v+w）與數乘運算（3v）得到向量的線性組合。向量空間對線性運算封閉，即空間內向量進行線性運算得到的向量仍在空間之內。 包含於向量空間之內的一個向量空間稱爲原
2020-02-25 06:26:39
2
原创 線性代數學習筆記7
第二十六集 對稱矩陣及正定性 對稱矩陣 對稱矩陣A=AT 的特徵值爲實數，具有完全正交的特徵向量。 這裏的“有”，是指可以選出一套完全正交的特徵向量。通常情況下，如果特徵值互不相同，那麼每個特徵值的特徵向量是在一條線上（特
2020-02-25 06:26:39
2
原创 線性代數學習筆記2
第二集 矩陣消元 高斯消元法通過對方程組中的某兩個方程進行適當的數乘和加和，以達到將某一未知數係數變爲零，從而削減未知數個數的目的。解線性方程組的基本思路是把方程組通過行初等變換用一個很簡單的等價方程組（即相同解集）代替。
2020-02-25 06:26:39
10
原创 線性代數學習筆記4
第十四集 正交向量與正交子空間 正交向量 正交就是垂直的另一種說法。兩向量正交則xTy=yTx=0 。當兩個向量的夾角爲90 度時，按照勾股定理x，y 滿足： 零向量與所有向量都正交。 正交子空間 子空間S 與
2020-02-25 06:26:39
原创 線性代數學習筆記1
本人機器學習小白一枚，目前認識到數學對於理解算法和應用算法到特定的數據集上太重要了。很喜歡MIT的線性代數課程，以MIT課程的內容爲主，做一些學習總結。旨在於總結自己學過的知識、受到的啓發、加強自己的邏輯性和對內容的理解。非常感謝
2020-02-25 06:26:39
原创 Sparse Autoencoder學習筆記
神經網絡是監督學習，自編碼算法是非監督學習，只有沒有標籤的訓練樣本集{x(1),x(2),x(3),...} 。自編碼算法可以學習到輸入特徵的壓縮表達，當輸入是完全隨機的，即每個特徵都是獨立的且服從同一個高斯分佈，那麼這個壓縮任務
2020-02-25 06:26:39
原创 Stacked Autoencoders學習筆記
上圖是一個棧式自編碼算法模型，屬於無監督學習。棧式自編碼神經網絡是一個由多層自編碼器組成的神經網絡，其前一層自編碼器的輸出作爲其後一層自編碼器的輸入。通過將重構的x與輸入的x相減來計算誤差。 encoder部分從原始2000
2020-02-25 06:26:39
原创 統計學7
隨機變量之差的方差 假設有兩個隨機變量X和Y，兩者完全獨立。 E(X)=μX ， E(Y)=μY ， Var(X)=E((X−μX)2)=σ2X ， Var(Y)=E((Y−μY)2)=σ2Y 。 假設有Z=X+Y E(Z)=
2018-09-04 03:47:42
原创 排序算法（python實現）
1、冒泡排序 class BubbleSort: def bubbleSort(self, A, n): flag=1 for i in range(n-1): #i: 0~(n
2018-09-04 03:47:42
2
原创 統計學4
中心極限定理 中心極限定理是最基礎、意義最重大的概念之一。根據該定理，任意良好定義了均值和方差的分佈，不管該分佈是連續還是離散的，隨着樣本容量增大，所有樣本和或者樣本均值或者衆數極差等統計量都符合正態分佈。 樣本均值的抽樣分佈 抽樣分
2018-09-04 03:47:42
原创 SVR（二次損失函數）公式推導
參考資料： 1、Support Vector Machines for Classification and Regression 2、A tutorial on support vector regressi
2018-09-04 03:47:42