原创 基於用戶的協同過濾算法(UserCF)
用戶相似度計算 協同過濾算法主要利用行爲的相似度計算興趣的相似度。給定用戶 和用戶 ，令 表示用戶 感興趣的物品集合，令 爲用戶 感興趣的物品集合。那麼我們可以通過 公式或者餘弦公式來計算用戶 , 的相似程度： 假設目前共有
2020-07-07 02:47:53
20
原创 Q Learning 和SARSA算法
1 Q Learning算法 Q更新公式： ∈-greedy策略 在Q Learning的更新過程中，每一步都要根據當前的state以及Q函數確定一個合適的行動action。這裏有一個如何平衡“經驗”和“探索”的問題。如果完全按照經驗行
2020-07-07 02:47:53
4
原创 樸素貝葉斯算法(Naive Bayes) 原理總結
樸素貝葉斯算法是基於貝葉斯定理和特徵條件獨立假設的分類方法。對於給定的訓練數據集，首先基於特徵條件獨立假設學習輸入輸出的聯合概率分佈；然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y。 1 數學知識 貝葉斯定理：
2020-07-07 02:47:53
1
原创 論文：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Transformers具有學習長期依賴的潛力，但在語言模型的設置中受到固定長度上下文的限制。Transformer-XL引入了兩點創新——循環機制（Recurrence Mechanism）和相對位置編碼（Relative Positi
2020-07-07 02:47:53
2
原创 基於物品的協同過濾算法(ItemCF)
物品相似度計算 餘弦相似度公式： 其中，分別表示對物品，喜歡的用戶數，爲同時喜歡 和 的人數。我們這裏還是使用漫威英雄舉例：假設目前共有5個用戶： A、B、C、D、E；共有5個漫威英雄人物：死侍、鋼鐵俠、美國隊長、黑豹、蜘蛛俠。用戶與
2020-07-07 02:47:43
40
原创 BP反向傳播算法原理及公式推導
BP（Back Propagation）神經網絡通常是指具有三層網路結構的淺層神經網絡。 反向傳播算法 1.什麼是BP 算法？ BP算法全稱叫
2020-07-07 02:47:43
原创 集成學習算法原理總結
目錄 1 Boosting 2 Bagging和隨機森林 2.1 Bagging 2.2 隨機森林 3 結合策略 3.1 平均法 3.2 投票法 3.3 學習法- Stacking 集成學習（ensemble learning）通過構建
2020-07-07 02:47:43
原创 機器學習分類器評估指標：ROC和AUC
1 二分類評估指標 針對一個二分類問題，將實例分成正類(postive)或者負類(negative)。但是實際中分類時，會出現四種情況： (1)若一個實例是正類並且被預測爲正類，即爲真正類(True Postive TP) (2)若一個實
2020-07-07 02:47:43
原创 ALBERT與BERT的異同
論文地址：https://openreview.net/pdf?id=H1eA7AEtvS 中文預訓練ALBERT模型：https://github.com/brightmart/albert_zh 1、對Embedding因式分解（
2020-07-07 02:47:43
2
原创 python 中subprocess.Popen()的使用
subprocess 允許你去創建一個新的進程讓其執行另外的程序，並與它進行通信，獲取標準的輸入、標準輸出、標準錯誤以及返回碼等。 subprocess.Popen() subprocess 模塊中基本的進程創建和管理由Popen 類來處
2020-07-07 02:47:43
1
原创 TF-IDF和BM25算法原理及python實現
1 TF-IDF TF-IDF是英文Term Frequency–Inverse Document Frequency的縮寫，中文叫做詞頻-逆文檔頻率。 一個用戶問題與一個標準問題的TF-IDF相似度，是將用戶問題中每一詞與標準問題計
2020-07-07 02:47:43
6
原创 Bert 預訓練源碼詳解
本部分介紹BERT預訓練過程，BERT針對兩個任務同時訓練。1.下一句預測。2.遮蔽詞識別 Bert預訓練由兩個腳本，create_pretraining_data.py和run_pretraining.py，前者爲對數據進行預處理，保存
2020-07-07 02:47:43
3
原创 YOLO v2 原理總結
論文地址：YOLO9000: Better, Faster, Stronger 預測更準確（Better） 1） Batch Normalization CNN在訓練過程中網絡每層輸入的分佈一直在改變, 會使訓練過程難度
2020-05-10 11:17:31
原创 YOLO v3 原理總結
論文：YOLOv3: An Incremental Improvement YOLO3主要的改進有：調整了網絡結構；利用多尺度特徵進行對象檢測；對象分類用Logistic取代了softmax。 新的網絡結構Darknet-53 在基本的圖
2020-05-10 11:17:31
原创 YOLO v1原理總結
論文原文：https://arxiv.org/pdf/1506.02640.pdf 1 網絡結構 1）結構 YOLO的結構非常簡單，就是單純的卷積、池化最後加了兩層全連接。單看網絡結構的話，和普通的CNN對象分類網絡幾乎沒有本質的區別
2020-05-08 15:17:33