原创 python中Numpy中的替代值
Numpy可以運用布爾值來替換值。 在數組中 vector = numpy.array([5, 10, 15, 20]) equal_to_ten_or_five = (vector == 10) | (vector == 5)
2020-02-27 10:15:09
原创 數據結構——歸併排序
1. 歸併排序 分治模型在每層遞歸時都有三個步驟： 分解原問題爲若干子問題，這些子問題是原問題的規模較小的實例； 解決這些子問題，遞歸地求解各子問題。然而，若子問題的規模足夠小，則直接求解； 合併這些子問題的解成原問題的解；
2020-02-27 10:15:09
原创 數據結構——快速排序
先來簡單看一遍一些基本排序的情況： 穩定：如果a原本在b前面，而a=b，排序之後a仍然在b的前面。 不穩定：如果a原本在b的前面，而a=b，排序之後 a 可能會出現在 b 的後面。 1. 快速排序 對於包含n個數的輸入數組來
2020-02-27 10:15:09
原创 python中sklearn中的Imputer模塊改動
try: from sklearn.impute import SimpleImputer # Scikit-Learn 0.20+ except ImportError: from sklearn.preproc
2020-02-27 10:15:09
原创 深度模型中的梯度消失和梯度爆炸
當神經網絡的層數較多時，模型的數值穩定性容易變差。假設一個層數爲L的多層感知機的第lll層H(l)H^{(l)}H(l)的權重參數爲W(l)W^{(l)}W(l)，輸出層H(L)H^{(L)}H(L)的權重參數爲W(L)W^{(L
2020-02-27 10:15:09
原创 神經網絡爲什麼需要隨機初始化模型參數
在神經網絡中，通常需要隨機初始化模型參數。下面解釋一下這樣做的原因。 設有一個多層感知機模型，假設輸出層只保留一個輸出單元o1o_1o1，且隱藏層使用相同的激活函數。如果將每個隱藏單元的參數都初始化爲相等的值，那麼在正向傳播時每
2020-02-27 10:15:09
原创 神經網絡爲什麼需要激活函數
給定一個只含有一層隱藏層的感知機模型，給定一個小批量樣本X∈Rn×dX\in\mathbb{R}^{n\times d}X∈Rn×d，其批量大小爲n，輸入個數爲d。感知機隱藏單元個數爲h。記隱藏層的輸出（也稱爲隱藏層變量或隱藏變量
2020-02-27 10:15:09
原创 改善深層神經網絡：超參數調整、正則化以及優化——2.9學習率衰減
加快學習算法的一個辦法就是隨着時間慢慢減少學習率，我們將之稱爲學習率衰減。 假設要使用mini-batch梯度下降法，mini-batch數量不大，大概64或者128個樣本。在迭代過程中會有噪聲，迭代會不斷向最小值下降，但是不會精
2020-02-27 10:15:09
原创 直觀判斷每個整數是不是醜數的方法
我們把只包含因子2、3和5的數稱作醜數，所謂一個數m是另一個數n的因子，是指n能被m整除。也就是n%m==0n\%m==0n%m==0。根據醜數的定義，醜數只能被2，3和5整除。也就是說，如果一個數能被2 整除，就連續除以2；如果
2020-02-27 10:15:09
原创 優化在深度學習中的挑戰
1. 優化在深度學習中的挑戰 我們在博客《機器學習中解析解和數值解的區別》中對優化問題的解析解和數值解做了區分。深度學習中絕大多數目標函數都很複雜。因此，很多優化問題並不存在解析解，而需要使用基於數值方法的優化算法找到近似解，即數
2020-02-27 10:15:09