原创 預訓練模型（X）---- 預訓練模型現狀及分析
預訓練模型的現狀及分析預訓練方法發展基於詞嵌入的預訓練方法基於語言模型的預訓練方法 首先通過上圖大家可以清楚的瞭解到預訓練模型之間的前世今生。 前面已經介紹了很多預訓練模型，本文就前面的內容做一個總結分析。 預訓練的方法最初是在圖
2020-06-23 05:14:36
原创 Tied Transformers: Neural Machine Translation with Shared Encoder and Decoder
Tied Transformers: Neural Machine Translation with Shared Encoder and Decoder知識點摘要介紹背景模型結構實驗結果未來工作 這是2019AAAI微軟的一篇文
2020-06-23 05:14:36
6
原创 pytorch張量(tensor)運算小結
pytorch張量運算張量的簡介生成不同數據類型的張量list和numpy.ndarray轉換爲TensorTensor與Numpy Array之間的轉換Tensor的基本類型轉換（float轉double，轉byte等）torc
2020-06-23 05:14:36
1
原创 Unsupervised Neural Machine Translation with Weight Sharing
Unsupervised Neural Machine Translation with Weight Sharing知識點摘要介紹模型結構定向self-attention權重共享Embedding reinforced enco
2020-06-23 05:14:36
原创 Unsupervised Neural Machine Translation with SMT as Posterior Regularization
Unsupervised Neural Machine Translation with SMT as Posterior Regularization知識點摘要本文方法 這是2019 AAAI 微軟的一篇文章。 文章鏈接： Un
2020-06-23 05:14:36
原创 預訓練模型（7）---- ELECTRA
最近預訓練模型的更新真的是讓人眼花繚亂，效果一個比一個好，簡直堪稱神仙打架，我等吃瓜羣衆只好坐在小板凳上看熱鬧，時不時的喊上一聲“好”。最近到處都能看到ELECTRA的身影，據說可以吊打Bert,今天我們就來看看它到底是何方神聖。
2020-02-24 23:01:23
原创 預訓練模型（8）---- T5: Text-To-Text Transfer Transformer
論文鏈接： Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 代碼鏈接： https://github.com/go
2020-02-24 23:01:23
原创 2019年深度學習自然語言處理最新十大發展趨勢
十大發展趨勢NLP架構的趨勢1. 以前的word嵌入方法仍然很重要2. 遞歸神經網絡(RNNs)不再是一個NLP標準架構3. Transformer將成爲主導的NLP深度學習架構4. 預先訓練的模型將發展更通用的語言技能5.
2020-02-24 23:01:23
原创 python&pytorch常用方法總結
python&pytorch常用方法總結collections模塊中OrderedDict的使用strip()方法topk()函數OrderedDictmm與dothasattr()函數forward() 的使用Pytorch中的
2020-02-24 23:01:23
原创 奇異值分解SVD
奇異值分解不管是在CV領域還是在NLP領域應用都特別廣泛，關於該知識點的總結網上有很多版本，但是好多講的不是很清楚，下面的這個鏈接講的比較透徹，在此分享給大家，以節省在網上找資源的時間。 SVD（奇異值分解）小結
2020-02-24 23:01:23
原创 Statistical Phrase-Based Translation
Statistical Phrase-Based Translation 摘要評估框架2.1 模型2.2 解碼器學習短語翻譯的方法3.1 Phrases from Word-Based Alignments3.2 Syntacti
2020-02-24 23:01:23
1
原创 預訓練模型（6）---- MASS
MASS: Masked Sequence to Sequence Pre-training for Language Generation摘要引言模型結構統一的預訓練框架（包含GPT和Bert）實驗結果 這是微軟亞洲研究院在IC
2019-10-26 09:32:20
21
原创 Artetxe - 有監督雙語詞嵌入Learning principled bilingual mappings of word embeddings
Learning principled bilingual mappings of word embeddings while preserving monolingual invariance論文點摘要引言Learning bi
2019-10-26 09:32:20
原创 Multilingual Unsupervised NMT using Shared Encoder and Language-Specific Decoders
Multilingual Unsupervised NMT using Shared Encoder and Language-Specific Decoders知識點摘要引言本文方法 這是2019ACL的一篇文章。 本文借鑑《U
2019-10-26 09:32:20
2
原创 Unsupervised Bilingual Word Embedding Agreement for Unsupervised Neural Machine Translation
Unsupervised Bilingual Word Embedding Agreement for Unsupervised Neural Machine Translation知識點摘要引言初步實驗Train UNMT wi
2019-10-26 09:32:20
3