原创 圖神經網絡用於推薦系統問題（NGCF，LightGCN）
何向南老師組的又兩大必讀論文，分別發在SIGIR19’和SIGIR20’。 Neural Graph Collaborative Filtering 協同過濾（collaborative filtering）的基本假設是相似的用
2020-06-27 08:00:31
24
原创 Memory Networks and Gates（記憶網絡和門控單元）
Memory Networks 正如該方法名：memory，關於神經網絡的以及功能LSTM，GRU等方法能夠實現一部分記憶功能了，但大量的實驗和研究者們都證明了LSTM在更長時間內在處理數據的時間結構方面不夠有效，並不能達到記錄
2020-06-24 21:52:42
原创 Pretraning in NLP（預訓練ELMo，GPT，BERT，XLNet）
圖像中的Pretraning往往是在大規模圖像集上進行訓練後，再在特定的任務上進行fine-turning。而nlp領域的fine-turning就是word embedding了。而詞嵌入（例如word2vec，GloVe）通
2020-06-24 21:52:42
3
原创 Representation Learning（詞嵌入NNLM，word2vec，GloVe）
NLP(Natural Language Processing) NLP主要是關注計算機和人類(自然)語言之間的相互作用的領域。如果要想實現人機間自然語言通信意味着要使計算機既能理解自然語言文本的意義，也能以自然語言文本來表達給
2020-06-24 21:52:42
3
原创 Cross-modal Pretraining in BERT（跨模態預訓練）
BERT以及BERT後時代在NLP各項任務上都是強勢刷榜，多模態領域也不遑多讓…僅在2019 年就有8+篇的跨模態預訓練的論文掛到了arxiv上…上圖是多篇跨模態論文中比較稍遲的VL-BERT論文中的比較圖，就按這個表格的分類（
2020-06-24 21:52:42
3
原创 Attention 2 Transformer （注意力機制與各種注意力）
Attention出自NMT（神經網絡機器翻譯）以處理文本對齊問題，目前已經在各個領域發光發彩，玩出各種花樣帶出多少文章。而Attention的本質其實就是–加權重。 通用的NMT的架構如上圖所示，其中會由兩個Deep LSTM
2020-06-24 21:52:42
原创 Video Understanding(視頻理解，I3D，SlowFast，Non-local)
CV領域圖像已經登天很難逐漸完善，視頻也開始蓬勃發展。由於早期限制於數據集和計算設備，多是從圖像的2D模型直接轉換成3D版本，如SIFT 3D，3D HOG，或者Dense Trajectory這種統治了很久的模型等，等到深度學
2020-06-24 21:52:42
原创 Multimodal Fusion（多模態融合）
Jeff Dean：我認爲，2020年在多任務學習和多模態學習方面會有很大進展，解決更多的問題。我覺得那會很有趣。 多模態學習 爲了使人工智能進一步加強對我們周邊事物的理解，它需要具備解釋多模態信號的能力。一般多模態需要處理的任
2020-06-24 21:52:42
405
原创 Multi-task Learning in LM（多任務學習，MT-DNN，ERNIE2.0）
提升模型性能的方法有很多，除了提出過硬的方法外，通過把神經網絡加深加寬（深度學習），增加數據集數目（預訓練模型）和增加目標函數（多任務學習）都是能用來提升效果的手段。（別名Joint Learning，Learning to l
2020-06-24 21:52:42
原创 多代理強化學習MARL（MADDPG，Minimax-Q，Nash Q-Learning）
由於強化學習領域目前還有很多的問題，如數據利用率，收斂，調參玄學等，對於單個Agent的訓練就已經很難了。但是在實際生活中單一代理所能做的事情還是太少了，而且按照羣體的智慧，不考慮訓練硬件和時長問題，使用多個agent同時進行學
2020-06-24 21:52:42
17
原创 傳統量化金融時序模型（ARMA，ml-XGBoost，dl-LSTM）
時間序列是按照時間排序的一組隨機變量，時間序列數據本質上反映的是隨機比變量隨時間不斷變化的趨勢。 而時間序列預測就是想根據已有的歷史數據，挖掘出這樣的規律，如t1,t2,t3,...,tn{t_1,t_2,t_3,...,t_n
2020-06-24 21:52:42
原创 強化學習用於金融時序問題（Q，DQN，AC）
前一篇博文所整理的模型中，主要有ARMA、RL、SVM、LSTM方法，本篇主要以強化學習方法來解決相關問題。強化學習是關於Agent與環境之間進行的互動，通過不斷與環境狀況的交互來進行“學習”，在諸多的場景都取得了成功如alpha
2020-06-24 21:52:42
原创 Dynamic Routing Between Capsules(膠囊網絡與源碼解析)
"我要指出 CNN 的問題，告訴你們爲什麼 CNN 是垃圾。" 偉大先驅Hinton發表在NIPS2017的首次正式提出Capsules，但其實Hinton早在2011年就有類似的想法了，原因是他認爲CNN不夠好，有很多的缺點，
2020-06-24 21:52:42