原创 【矩陣分解六】處理隱式反饋-加權正則矩陣分解法WRMF (weighted regularized matrix factorization)

改進點(跟前幾篇的SVD比): 一句話總結:當數據樣本只有隱式反饋時,以前的數據建模方式便不再適用。原因:1.隱式反饋中默認只有正樣本(one-class問題);2.未觀測到的樣本默認爲負樣本(顯然不合理,也可能喜歡)。 概念: 顯式反饋

原创 【矩陣分解五】TimeSVD

改進點(跟前幾篇的SVD比): 一句話總結:在構建元素𝑟̂ 𝑢𝑖時,每個時間段學習一個參數,某個時間段參數使用該時間段數據進行學習,也即是加入時間權重。 主要思想: 上述模型都是靜態的,但是現實中,物品的流行度會隨時間變化,用戶的品味也可

原创 【DNN】DIEN算法原理

在阿里的DIN之後,隨後推出了DIEN,發表於2018年,論文地址點擊這裏 。 重點: DIEN相比之前的DIN,主要的trick在於對於用戶的長期興趣和短期興趣的刻畫,引入了有監督的GRU網絡,刻畫的更加準確。 爲了捕捉用戶興趣的演變,

原创 【DNN】DeepFM原理及源碼

1、總結 三句話看透DeepFM,論文鏈接,發表於2017年。 Wide&Deep中Wide側還需要人工構造特徵交叉,而DeepFM在Wide側用一個FM模型替換了LR,能夠自動學習到所有二次交叉項的係數。 關鍵在於Deep側與Wide側

原创 【LeetCode】三指針(對只有三種元素的數組排序)--荷蘭國旗問題

LeetCode75題目鏈接。 顏色分類 給定一個包含紅色、白色和藍色,一共 n 個元素的數組,原地對它們進行排序,使得相同顏色的元素相鄰,並按照紅色、白色、藍色順序排列。 此題中,我們使用整數 0、 1 和 2 分別表示紅色、白色和藍色

原创 【Loss】深入理解損失函數logloss

思考:當我們習慣性的使用封裝好的深度學習框架時,是否想過探尋他們調用函數背後的意義,也就是他的實現邏輯?如果封裝不公開源碼,那你是否留意過調用函數時,輸入的參數?今天來看看,一個比較容易忽略的點:損失函數。不知道爲何,想到損失函數的時候,

原创 【JAVA】快排-無序整數數組中找第k大的數

一個有代表性的題目:無序整數數組中找第k大的數,對快排進行優化。 這裏先不說這個題目怎麼解答,先仔細回顧回顧快排,掰開了揉碎了理解理解這個排序算法:時間複雜度、空間複雜度;什麼情況下是複雜度最高的情況。 1.主要思想 通過一趟排序將要排序

原创 【DNN】DIN原理-代碼解讀-應用過程中可能存在的難點

DIN(Deep Interest Network)很火,已經成功吸引了我的注意力,落地時,究竟難在什麼地方?????本文的整體思路是:先熟悉原理,再看代碼,然後在結合實際,猜想下可能難在什麼地方。 原理 參考各位前輩的博客,結合論文,按

原创 【召回】倒排索引怎麼建立?基本概念和實現例子

0.召回相關的概念        召回(Recall):在搜索排序系統中,需要首先從全集商品中,選擇一部分商品,用來展示給用戶,這個選擇的過程稱之爲召回。        文檔(Document):一般搜索引擎的處理對象是互聯網網頁,而文檔

原创 【面試代碼題】TYCha面試手寫題目

面試管:很nice,通過一段時間交流,覺得想一起共事。 一面題目: 1.題目描述: 給一個有符號的數123,將其翻轉變爲321。LeetCode的第7題https://leetcode-cn.com/problems/reverse-in

原创 LightGBM相比於Xgboost的改進及實踐

這篇文章內容主要來源與樑雲大佬的博客,摘錄下來,標註自己的理解。 一,LightGBM和XGBoost對比 LightGBM可以看成是XGBoost的升級加強版本,2017年經微軟推出後,便成爲各種數據競賽中刷分奪冠的神兵利器。 正如其名

原创 TensorFlow中將類別特徵embeding之後,包含語義信息(context information)嗎?

面試中問到了這個問題,這裏稍微彙總理解理解。 解答:TensorFlow中將類別特徵embeding之後,這個embeding不包含語義信息。 分析:Embedding 層的結構可以比較複雜,只要達到高維向量的降維目的就可以了,但一般爲了

原创 先死而後生

人類被賦予了一種力量,那就是精神的成長。

原创 深度網絡梯度爆炸的原因、產生的影響和解決方法

1.概念 深度模型有關數值穩定性的典型問題是:衰減(vanishing)和爆炸(explosion)。 當神經網絡的層數較多時,模型的數值穩定性容易變差。舉個簡單的例子: 爲了便於討論,不考慮偏差參數, 且設所有隱藏層的激活函數爲恆等映射

原创 【推薦】pairwise、pointwise 、 listwise三種算法在推薦上的適用彙總

寫在前面:寫博客當成了學習筆記,容易找到去完善,不用於商業用途。通過各種途徑網羅到知識彙總與此,如有侵權,請聯繫我,我下掉該內容~~ 排序學習的模型通常分爲單點法(Pointwise Approach)、配對法(Pairwise Appr