原创 Cross-Domain Review Helpfulness Prediction -論文閱讀

Cross-Domain Review Helpfulness Prediction based on Convolutional Neural Networks with Auxiliary Domain Discrimina

原创 A Survey of Zero-Shot Learning: Settings, Methods, and Applications-閱讀筆記

文章目錄INTRODUCTIONzero-shot learning定義:Semantic spaceLearning settingsSEMANTIC SPACESEngineered Semantic SpacesAttrib

原创 BERT簡單使用

文章目錄Use BERT as feature環境入口最終結果預處理Reference Use BERT as feature 如何調用bert,將輸入的語句輸出爲向量? 如果在自己的代碼中添加bert作爲底層特徵,需要官方例子

原创 『 DSSM』A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems

Abstract MULTI-VIEW-DNN聯合了多個域做的豐富特徵,使用multi-view DNN模型構建推薦,包括app、新聞、電影和TV,相比於最好的算法,老用戶提升49%,新用戶提升110%。並且可以輕鬆的涵蓋大量用戶

原创 BERT變形記-ERNIE

ERNIE 1.0 如何將知識(knowledge)信息融入到模型訓練中,一種方式是將知識信息作爲輸入,成本是其他人使用的時候也要構建知識庫,並且fine-tune和pre-train的知識庫分佈不一致,fine-tune也會出現

原创 NLP數據增強方法

分類的增強方法 EDA-Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks 提出了數據增強方法:

原创 Adversarial Multi-task Learning for Text Classification-閱讀筆記

Adversarial Multi-task Learning for Text Classification MTL中,通過共享網絡層,以期望共享層提取與任務無關的特徵,實際過程中可能會包含特定任務的特徵或者無關的噪音。 基

原创 Multi-Task Networks With Universe, Group, and Task Feature Learning-閱讀筆記

Multi-Task Networks With Universe, Group, and Task Feature Learning 文章將任務區分爲三個層次: 單個任務。 任務組(task group) 全體任務(tas

原创 Domain Separation Networks-論文筆記

目的:what to transfer,以及如何有效避免negative transfer上。 假設:所有的域之間有着公有的特徵(Shared)和私有的特徵(Private),如果將各個域的私有特徵也進行遷移的話就會造成負遷移(n

原创 【Transformer】Transformer筆記

Attention is all you need 文章目錄AttentionMulti-head attentionSelf AttentionPosition Embeddingtransformerencodersdec

原创 斯坦福CS224n課程筆記1-introduction and Word vectors 2019

Human language and word meaning 語言是一個低帶寬的信息傳輸方式,相比於5G,這決定了語言的熵會很高。 How do we have usable meaning in a computer? one

原创 ERNIE: Enhanced Language Representation with Informative Entities

ERNIE: Enhanced Language Representation with Informative Entities 當前的預訓練語言模型中沒有融入KGs信息。而KGs能夠爲語言理解提供豐富的結構化信息。因此本文提出

原创 【膠囊網絡-CapsNet】膠囊網絡-CapsNet原理

動機 CNN缺陷: 無法從新的視角去理解對象。 例如下圖中,當圖片角度發生變化,就會無法識別。CNN通過數據增強,即會將圖片進行翻轉,旋轉等操作。會造成數據量變得非常大,降低訓練速度。 難以識別精確空間關係。 比方說右圖中儘

原创 【膠囊網絡-CapsNet】Investigating Capsule Networks with Dynamic Routing for Text Classification

Investigating Capsule Networks with Dynamic Routing for Text Classification 發表在EMNLP 2018 文章目錄ModelN-gram convoluti

原创 【膠囊網絡-CapsNet】Dynamic Routing Between Capsules

hinton capsule的論文發表在nips2017。 修改來源於:雷鋒網 AI 科技 https://www.leiphone.com/news/201710/seYRjGDt30yXcNSr.html 文章目錄Abstra