原创 tensorflow基礎知識(二) Graph計算圖的創建和使用
tensorflow中Graph圖 1. 只創建一個Graph圖 2. 定義多個Graph圖 3 指定Graph計算圖運行的設備 tensorflow中Graph圖 在tensorflow的編程思想說到，在
2020-06-14 06:39:49
1
原创 LSTM GRU CNN Seq2seq知識點概要
文章目錄1. RNN 循環神經網絡rnn的優點和缺點rnn cell示意圖 及 rnn2. LSTM 長短時記憶網絡畫圖和公式RNN與LSTM3. GRU網絡3.1 公式3.2 GRU網絡和LSTM網絡的比較4. CNN網絡知識權
2020-06-14 06:39:38
2
原创 FastText中文詞向量的使用
faxttext中文 詞向量下載地址 調用方法 官方文檔 from gensim.models.keyedvectors import FastTextKeyedVectors wv = FastTextKeyedVectors
2020-06-14 06:39:38
2
原创 tensorflow實戰（一） 打印一個tensor值
tensorflow打印一個tensor值 在tensorflow中，打印一個tensor值必須在在一個會話Session中進行，並且可以使用Session.run()或Tensor.eval()進行打印x的值： - 使用 pr
2020-02-21 10:36:22
原创 lasagne 中遇到TypeError: __init__() got an unexpected keyword argument 'only_return_final'
lasagne 1.0 和 lasagne 2.0版本差別出現的問題。 lasagne 2.0 中的 lasagne.layer 接口才有參數 only_return_final 解決方法： pip uninstall las
2020-02-21 10:36:20
原创 負採樣算法
負採樣算法 CBOW中，判斷上下文詞（context）與目標詞（target）是否爲匹配的一對，如果是一對，則是正樣本，如果不是一對，則是負樣本. 去一段長度爲1的線段，分爲|V|份，每份的長度按詞頻的不同而有所不同。且長度的計算採用
2019-04-29 00:51:39
2
原创 梯度彌散和梯度爆炸
1. 什麼是梯度彌散和梯度爆炸（發生原因） 梯度彌散：由於導數的鏈式法則，連續多層小於1的梯度相乘會使梯度越來越小，最終導致某層梯度爲0。 梯度爆炸：由於導數的鏈式法則，連續多層大於1的梯度相乘會使梯度越來越大，最終導致梯度太大的問
2019-03-25 18:35:15
17
原创 BN算法 批量歸一化算法
1. BN算法的過程 2015年的論文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》 思想：
2019-03-25 18:35:15
1
原创 激活函數知識點彙總
文章目錄1. 使用激活函數的原因2. 什麼函數才能成爲激活函數3.常用的激活函數3.1 sigmoid函數3.2 tanh 函數3.3 relu函數3.4 Elu函數3.5 Prelu、Leaky ReLU函數3.6 自歸一化激活函數
2019-03-25 18:35:04
2
原创 KNN K近鄰算法
1. 簡述K近鄰算法： 尋找數據集中k個離輸入樣本x最近的數據點，根據k個數據點投票表決x的類別。 2. 三要素 k 的選取 距離度量 決策判決規則 3. k 的 選取對結果的影響 較小的k意味着只有較近的點纔會對預測產生影響，
2019-03-19 18:33:35
原创 LSTM GRU CNN知識點概要
文章目錄1. RNN 循環神經網絡rnn的優點和缺點rnn cell示意圖 及 rnn2. LSTM 長短時記憶網絡畫圖和公式RNN與LSTM3. GRU網絡3.1 公式3.2 GRU網絡和LSTM網絡的比較4. CNN網絡知識權重參
2019-03-15 18:34:57
70
原创 過擬合產生原因和解決
通常過擬合由以下三種原因產生： 假設過於複雜：注意奧卡姆剃刀原則 數據存在很多噪音： 數據規模太小： 過擬合的解決方法通常有： early stopping：採用交叉驗證，設置一個k值，當連續k輪驗證集上的指標都不上升時，停止
2019-03-15 18:34:57
原创 L1正則化和L2正則化
文章目錄1. L1正則化和L2正則化：2. L1正則化和L2正則化的作用:3. 一些問題理解L1正則化的稀疏作用如何理解？L2正則化爲什麼不會稀疏？L2正則化爲何可以防止過擬合？L1正則化在哪種情況下可以防止過擬合？ 1. L1正則
2019-03-15 18:34:57
3
原创 textrank 算法
1. pagerank 算法： pagerank是一個有向圖，每個節點代表一個網頁ViV_iVi, 其網頁重要性得分記爲PR(Vi)PR(V_i)PR(Vi)。 我們認爲一個網頁的重要性與其網頁指出去和鏈進來的網頁數量有關。 計算
2019-03-12 17:09:21
原创 跡技巧
跡是矩陣的主對角線元素之和。 性質1 tra=a,tr(aA)=a∗trAtr a = a, tr (aA) = a *tr Atra=a,tr(aA)=a∗trA ，a爲標量； 常用於 求解凸優化問題中，一般對實值函數取跡，起到計算
2019-03-11 17:09:58
1