原创 query擴展方法彙總
1、基於用戶日誌 1.1、計算query term和doc term的條件概率 論文標題：Probabilistic Query Expansion using Query Logs 論文整體架構分爲3部分：1、計算了query端的分佈和d
2020-11-20 13:13:33
原创 深度學習之文本分類模型-基於transformer
目錄1、transformer2、GPT3、bert4、RoBERTa5、ALBERT6、spanBert7、xlnet 1、transformer transformer就是大名鼎鼎的論文《Attention Is All You Nee
2020-06-17 13:54:44
19
原创 機器學習模型之EM算法
目錄1、EM算法2、EM算法解釋 1、EM算法 EM算法是針對含有隱變量的一種優化算法，如果不含有隱變量，我們可以直接利用極大似然估計方法，對需要優化的變量求導，用梯度下降的方法進行參數的更新。而當變量中含有隱變量時，就無法用極大似然估計方
2020-06-10 14:54:17
原创 機器學習模型之隱馬爾可夫(HMM)
目錄1、隱馬爾可夫模型簡介2、概率計算問題2.1、暴力解決法2.2、前向計算法2.3、後向計算法3、學習問題4、預測問題 1、隱馬爾可夫模型簡介 隱馬爾可夫模型是一種生成模型，其廣泛的應用於自然語言處理，語音識別，生物信息領域。 其模型可以
2020-06-10 14:54:17
原创 機器學習模型之支持向量機(svm)
目錄1、線性可分SVM2、線性不可分SVM3、非線性SVM4、SMO算法 支持向量機是一個比較經典分類算法，這幾天死磕了一下支持向量機，手推了一下相應的算法，特此做一個筆記。 1、線性可分SVM 線性可分的支持向量機就是給定相應的數據集，這
2020-06-02 13:28:04
原创 機器學習模型之最大熵模型
1、最大熵模型 最大熵模型描述的是這麼一種情況，即在有約束條件的情況下，如何得到最好的模型。我們先來考慮如果沒有約束的條件下，如何獲得最好的模型，舉個栗子，比如一個骰子，有6個面，轉一次，求每個面的概率，根據經驗，每個面的概率是1/6，這其
2020-05-23 13:44:27
原创 深度學習之文本分類模型-基於attention機制
目錄1、HAN2、inner-attention for NLI3、Attentive Pooling4、LEAM5、DRCN6、ABCNN7、Multiway Attention Networks8、aNMM 1、HAN HAN(Hier
2020-05-21 13:53:26
原创 機器學習模型之邏輯迴歸
目錄1、邏輯迴歸模型2、邏輯迴歸策略3、邏輯迴歸算法 1、邏輯迴歸模型 關於邏輯迴歸，可以看做是感知機的加強版本，感知機是線性的分類器，邏輯迴歸在感知機的基礎上加上了一個sigmoid函數，將其變成了一個非線性的分類器，其效果要優於感知機。
2020-05-19 13:52:55
原创 機器學習模型之決策樹
目錄1、分類決策樹模型1.1、特徵選擇1.2 決策樹構建1.3 決策樹剪枝2、分類迴歸樹CART2.1、迴歸樹CART2.2、分類樹CART2.2.1、基尼係數2.2.2、分類樹生成 1、分類決策樹模型 決策樹模型是一種基於規則的算法，其是
2020-05-17 13:53:15
原创 機器學習模型之KNN算法
目錄1、KNN算法2、K值選擇和距離度量方法3、KD樹3.1、構建KD樹3.2、搜索KD樹 1、KNN算法 KNN(K nearest neighbor)是一種分類算法，其根據需要預測的點的周圍K個點的分類類別來決定當前點的類別。 2、K值
2020-05-14 13:58:14
原创 python讀取大詞向量文件
目錄0、前言1、文件格式2、直接讀取3、單行json4、多行json5、numpy的loadtxt方法6、字節文件讀取方法7、總結 0、前言 我們在工作中經常遇到需要將詞向量文件讀取到內存，但是正常情況下，我們的單詞個數都是數十萬個，單詞的
2020-05-10 13:55:18
2
原创 常用的機器學習模型評估和模型選擇方法
目錄1、簡介1.1 訓練誤差和測試誤差1.2、過擬合與欠擬合2、模型選擇2.1、正則化2.2、簡單交叉驗證2.3、S折交叉驗證2.4、自助方法3、模型評估3.1、準確率和錯誤率3.2、查準率，查全率，F13.3、ROC和AUC 1、簡介 機
2020-05-08 13:55:36
1
原创 深度學習之文本分類模型-基於CNNs系列
1、DCNN模型 DCNN是由Nal Kalchbrenner[1]等人於2014年提出的一種算法，其利用CNN模型將輸入進行卷積操作，並利用K-MAX pooling操作，最終將變長的文本序列輸出爲定長的序列，這種方式能夠獲取短文本和長文
2020-05-06 13:59:40
原创 深度學習之文本分類模型-基於RNNs和LSTM系列
目錄1、RNN和LSTM簡介2、tree-LSTM模型Child-Sum Tree-LSTMsN-ary Tree-LSTMs3、MT-LSTM4、topicRNN 1、RNN和LSTM簡介 首先我們來簡要介紹一下RNN模型和LSTM模型，
2020-04-29 13:59:26
18
原创 RNN和LSTM模型詳解
目錄RNN爲什麼會出現RNNRNN模型架構多輸入單輸出單輸入多輸出多輸入多輸出梯度消失和梯度爆炸LSTM爲什麼會出現LSTM呢？LSTM模型結構 本文介紹RNN模型和LSTM模型。 RNN 爲什麼會出現RNN 在傳統的深度神經網絡模型中，我
2020-04-26 14:02:29