原创 Black Box Variational Inference論文小結
變分推斷已經成爲近似複雜模型後驗分佈的一種有效且廣泛的方法。對於特定的模型，如果我們可以將其ELBO期望寫成解析解的形式(比如指數家族分佈，例如高斯分佈)，這種情況下我們可以採用變分推斷的一般方法進行優化求解。然而對於更一般的模型
2020-05-24 20:38:45
4
原创 deeplearning.ai 改善深度神經網絡(正則化、優化、mini-batch等)附代碼作業答案
一、初始化 1.爲什麼神經網絡的所有參數不能全部初始化爲0>? 若w初始化爲0 ,很可能導致模型失效,無法收斂。也就是說如果我們初始將所有的w初始化爲0,那麼進行前向傳播時每一層得到的值都是一樣,這樣一來當我們使用反向傳播時,傳回
2020-05-13 09:33:04
原创 簡單談談神經網絡中的梯度消失、爆炸原因及解決辦法
爲什麼要使用梯度更新規則？ 我們先來簡單說一下梯度小時的根源–深度神經網絡和反向傳播。目前深度學習方法中，深度神經網絡的發展造就了我們可以構建更深層的網絡完成更復雜的任務，深層網絡比如深度卷積網絡，LSTM等等，而且最終結果表明，
2020-05-10 04:55:39
原创 什麼是RNN？一文看懂強大的循環神經網絡(Recurrent Neural Network, RNN)
循環神經網絡(Recurrent Neural Network，RNN)是一類用於處理序列數據的神經網絡。所謂序列數據，即前面的輸入和後面的輸入是有關係的，如一個句子，或者視頻幀。就像卷積網絡是專門用於處理網格化數據XXX（如一個
2020-05-07 18:17:03
原创 簡單聊聊Long Short Term Memory Network (LSTM)和 Gated Recurrent Unit (GRU)兩種強大的RNN變體
上一篇關於RNN的文章最後，我們提到過由於梯度消失和梯度爆炸問題，使得RNN很難處理長距離的依賴。本文我們介紹兩種改進後的RNN：LSTM(Long Short Term Memory Network)和Gated Recurre
2020-05-07 18:17:03
原创 什麼是GoogLeNet？一文看懂CNN經典模型GoogLeNet 從Inception v1到v4的演進
上一次我們談到了CNN經典模型VGGNet，今天我們來簡單聊聊比VGG更強大的GoogLeNet。 爲什麼有GoogLeNet? 2014年，GoogLeNet和VGG是當年ImageNet挑戰賽(ILSVRC14)的雙雄，G
2020-05-07 18:17:03
原创 什麼是VGG?簡單談談CNN經典模型VGGNet
VGGNet探索了卷積神經網絡的深度與其性能之間的關係,成功地構築了16~19層深的卷積神經網絡,證明了增加網絡的深度能夠在一定程度上影響網絡的最終性能,使得錯誤率大幅下降,同時拓展性又很強,遷移到其他圖片數據上的泛化性也非常好。
2020-05-05 20:07:03
原创 還不知道什麼是卷積神經網絡CNN？一文讀懂CNN原理附實例
1.什麼是神經網絡？ 這裏的神經網絡也指人工神經網絡（Artificial Neural Networks，簡稱ANNs），是一種模仿生物神經網絡行爲特徵的算法數學模型，由神經元、節點與節點之間的連接（突觸）所構成，如下圖： 每個
2020-05-05 20:07:03
原创 Extreme Learning to Rank via Low Rank Assumption論文解讀
在推薦系統和網頁搜索中爲數十萬的用戶執行ranking是很常見的。學習單一的ranking function不可能捕捉所有用戶的易變性,然而爲每個用戶學習一個ranking function 是很耗時的,同時也需要來自每個用戶的大
2020-05-03 23:43:49
1
原创 無痛學會分解機(Factorization Machine，FM)算法總結
FM(Factorization Machine)主要是爲了解決數據稀疏的情況下，特徵怎樣組合的問題。此算法的主要作用是可以把所有特徵進行高階組合，減少人工參與特徵組合的工作。FM只需要線性時間複雜度，可以應用於大規模機器學習。
2020-04-28 19:26:39
原创 KDD Cup 2020 Challenges for Modern E-Commerce Platform: Debiasing 簡單分享附代碼(持續更新)
參賽鏈接 一年一度的KDD大賽又開始了，這個比賽是真的火爆…小白也是頭一次玩這個，確實體會和學到了很多東西，這真的是從學術研究到工程實現思維的一種鍛鍊。 題目： 簡單總結下題目，由於自己主要是關注數據挖掘與推薦的，所以比較關注推薦
2020-04-28 19:26:39
原创 一文讀懂開創性文章——貝葉斯個性化排序(BPR)
BPR絕對可以算是推薦系統領域的開創性文章之一，對於經典我們一定要好好體會和理解。 BPR是一個基於pairwise的算法，在BPR之前大部分方法都基於pointwise的方法，這存在一定的問題，而BPR通過對用戶對不同商品的相對
2020-04-27 08:35:06
原创 Metric-Factorization Recommendation beyond Matrix Factorization論文乾貨
原文鏈接open source 本文主要對度量分解這篇論文做一個翻譯+總結. Abstract 被我們熟知的基於矩陣分解(MF)的推薦系統得到了廣泛的研究,並已成爲最受歡迎的個性化推薦技術之一.然而基於內積的矩陣分解不滿足不等式屬
2020-04-25 06:18:31
1
原创 數據挖掘競賽黑科技——對抗驗證（Adversarial validation）
通常情況下，我們一般都會使用交叉驗證來作爲評估模型的標準，來選擇我們最後的模型。但是在一些數據挖掘競賽中，數據集一般分爲訓練集合測試集，國內比賽可能根據比賽階段劃分多個測試集，由於數據集採樣和分佈的原因導致訓練集和線上測試集可能存
2020-04-25 06:18:31
原创 Collaborative Metric Learning(CML)論文總結
論文 問題介紹 度量學習算法通過學習生成什麼樣的距離度量來幫助解決數據間的重要關係。 傳統的CF(主要以MF,TF爲主)的方法只能學習到user-item之間的潛在關係而無法學習到user-user,item-item的Simil
2020-04-22 19:27:04
1