原创 批量歸一化(Batch Normalization)
對輸入數據進行標準化處理的原因？ 使輸入數據各個特徵的分佈相近： 神經網絡學習的本質就是學習數據的分佈，如果訓練數據與測試數據的分佈不同，那麼網絡的泛化能力也大大降低； 在使用小批量數據對神經網絡進行訓練時，若每批訓練數據的分佈各不相同，
2020-06-25 18:26:42
385
原创 機器學習中的評估指標與損失函數
分類指標 模型評估 準確率accuracy是指分類正確的樣本數與總樣本數之比，即。其缺點在於，當樣本類別比例非常不均衡時，如正負樣本比爲1:9，全部預測爲負就可以得到90%的準確率。爲了解決這個問題，可以使用平均準確率（每個類別樣本準確率
2020-06-25 18:26:41
18
原创 Deep & Cross模型
Deep&Cross顯式地做高階特徵組合。就是說設計幾層神經網絡結構，每一層代表其不同階的組合，最下面是二階組合，再套一層，三階組合，四階組合，一層一層往上套，這就叫顯式地捕獲高階特徵組合，Deep&Cross是最開始做這個的。 Dee
2020-06-25 18:26:40
9
原创 TensorFlow2總結
Tensor數據類型 list: [1,1.2,'hello'] ，內存佔用大，處理速度慢 np.array，數據同類型，但不支持GPU和自動求導 tf.Tensor，爲了彌補numpy的缺點，爲深度學習而生，支持GPU與自動求導 ten
2020-06-25 18:26:40
原创 常見的機器學習優化器
梯度下降最常見的三種變形是BGD，SGD，MBGD，區別是梯度下降時用多少數據來計算目標函數的梯度。 批量梯度下降法（Batch Gradient Descent）更新參數時使用所有樣本來進行更新。 隨機梯度下降法（Stochastic
2020-06-25 18:26:40
1
原创 常用開發技巧總結
PyCharm 1 常用快捷鍵 全部右移一個tab：全選，tab 全部左移一個tab：shift+tab 快速註釋與取消註釋：Ctrl+/ 2 PyCharm設置Python程序模版 創建Python程序使用的母版： PyCharm–>P
2020-06-16 01:59:35
原创 機器學習中可複用代碼總結
def get_chunk_df(file, chunksize = 6000000, sample = 0.01 ): chunks = pd.read_csv(file, chunksize = chunksize)
2020-06-16 01:59:24
原创 深度學習在推薦系統中的應用
PNN模型理論和實踐 1、原理 PNN，全稱爲Product-based Neural Network，認爲在embedding輸入到MLP之後學習的交叉特徵表達並不充分，提出了一種product layer的思想，既基於乘法的運算來體現
2020-06-03 06:01:21
原创 推薦暫存
協同過濾推薦算法總結 推薦算法具有非常多的應用場景和商業價值，因此對推薦算法值得好好研究。推薦算法種類很多，但是目前應用最廣泛的應該是協同過濾類別的推薦算法，本文就對協同過濾類別的推薦算法做一個概括總結，後續也會對一些典型的協同過
2020-06-03 06:01:21
原创 ctr項目
騰訊2017社交廣告比賽 https://jiayi797.github.io/2017/06/07/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%AE%9E%E8%B7%B5-CVR-Tencent_C
2020-06-03 06:01:21
原创 Leetcode題解------C++語言實現
283. 移動零 // 時間複雜度: O(n) // 空間複雜度: O(n) class Solution { public: // 通過引用的方式傳入一個vector類型的數組 可以對其進行修改 void moveZe
2020-06-03 06:01:21
原创 L1、L2正則化總結
爲什麼不用L0範數而用L1範數? L0範數是向量中非0元素的個數，若使用L0範數來規則化一個參數矩陣，就是希望其稀疏，大部分元素都是0。但L0範數難以優化求解，L1範數是L0範數的最優凸近似，且比L0範數更易優化求解。 L1和L2爲什麼能
2020-06-03 06:01:21
原创 CTR預估算法（淺層模型）
1. 發展 在CTR預估中，Logistic Regression應該是最早被應用而且應用最廣泛的模型了。輸入是one-hot之後的特徵，輸出是點擊廣告的概率。對於類別型特徵，one-hot之後，每一個取值都變成了一維新的特徵。線性模型
2020-06-03 06:01:21
1
原创 詞嵌入之Word2vec
one-hot向量的侷限性 假設詞典大小爲N（詞典中不同詞的數量），每個詞可以和從0到N−1的連續整數索引一一對應。使用one-hot方式來表示單詞時，詞向量維度大小爲整個詞彙表的大小，改詞索引位置爲1，其餘位置爲0，每個詞就表示成了一個
2020-06-03 06:01:21