原创 Artetxe - 2019ACL - Bilingual Lexicon Induction through Unsupervised Machine Translation

Bilingual Lexicon Induction through Unsupervised Machine Translation知識點摘要介紹方法介紹實驗設置實驗結果 這是2019年ACL的一篇文章,這篇是在faceboo

原创 Bert&XLNet&XLM等NLP模型架構如何快速實現?

GitHub上最火的NLP項目,標星13000+,現在迎來重大更新。 項目鏈接: https://github.com/huggingface/transformers 剛剛, 抱抱臉(Hugging Face)團隊,放出了tr

原创 Unsupervised Pivot Translation for Distant Languages

Unsupervised Pivot Translation for Distant Languages論文點摘要引言相關工作Unsupervised Pivot TranslationLearning to Route(LTR)

原创 Artetxe - 2018AAAI - Generalizing and Improving Bilingual Word Embedding Mappings.......

Generalizing and Improving Bilingual Word Embedding Mappings with a Multi-Step Framework of Linear Transformations知

原创 ubuntu系統下安裝tensorflow、pytorch

安裝tensotflow、pytorch更改下載源:(國外的服務器下載很慢)安裝CUDA9.0安裝cuDNN v7.0安裝Anaconda卸載anaconda打開Jupyter Notebook:Anaconda虛擬環境安裝ter

原创 預訓練模型(3)---- XLNet

預訓練模型(3)爲什麼提出XLNet?AR模型AE模型XLNet 是如何工作的?基於目標感知表徵的雙流自注意力部分預測集成Transformer-XL預訓練XLNet深度剖析參考文獻 論文鏈接: XLNet: Generalize

原创 Artetxe - 2018EMNLP - Unsupervised Statistical Machine Translation

Unsupervised Statistical Machine Translation知識點摘要引言背景:基於短語的SMTCross-lingual n-gram embeddings本文無監督SMTIterative refi

原创 Translating Translationese: A Two-Step Approach to Unsupervised Machine Translation

Translating Translationese: A Two-Step Approach to Unsupervised Machine Translation論文點摘要方法介紹生成字典將源語言轉換成Translatione

原创 預訓練模型(5)---- SpanBERT&RoBERTa&ERNIE2

比較小衆的預訓練模型1. SpanBERT2. RoBERTa3. ERNIE2 本文主要介紹一些比較小衆的預訓練模型,這些模型不像Bert、XLNet等那麼有影響力,都是在這些模型的基礎上做的相關改進工作,但是這些工作可以引導我

原创 7類CNN小結

7類CNN基於空間利用的 CNN基於深度的 CNN基於多路徑的 CNN基於寬度的多連接 CNN基於特徵圖(通道特徵圖)開發的 CNN基於通道(輸入通道)利用的 CNN基於注意力的 CNN 通過 1989 年 LeCun 處理網格狀

原创 moses(mosesdecoder)數據預處理&BPE分詞&moses用法總結

mosesdecoder&BPE數據預處理moses數據預處理BPE分詞moses用法總結 moses數據預處理 源碼鏈接: https://github.com/moses-smt/mosesdecoder 做機器翻譯的小夥伴應

原创 Artetxe - 2018ACL - A robust self-learning method for fully unsupervised cross-lingual mappings...

A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings知識點摘要引言本文方法實施流程3.1 預處

原创 線性代數基礎總結

在計算機學科中,數學基礎必不可少,尤其NLP中全部都是矩陣計算,所以線性代數的基礎就變得尤爲重要,下面是學習線性代數基礎的兩個鏈接,基礎不好的同學可以學習一下。 線性代數知識彙總 麻省理工公開課學習筆記

原创 Artetxe - 2019ACL - An Effective Approach to Unsupervised Machine Translation

An Effective Approach to Unsupervised Machine Translation知識點摘要引言本文無監督方法NMT hybridization(NMT雜交)實驗結果結論和未來工作 本文首先通過跨語

原创 歐幾里得範數(L2範數)

L1範數和L2範數我們應該經常接觸,但是歐幾里得範數可能有些人聽着會有些陌生,乍一看以爲是多麼難的東西,其實歐幾里得範數就是L2範數,只是叫法不同而已。 L1範數 L1範數是指向量中各個元素絕對值之和。 L2範數(歐幾里得範數)