原创 跨語言詞向量筆記9. 挑戰與未來研究方向
跨語言詞向量筆記9. 挑戰與未來研究方向 本文完全來自於Anders Søgaard等人的著作[Søgaard2019] Søgaard, A., Vulić, I., Ruder, S., & Faruqui M. (2019)
2020-07-06 12:24:40
原创 跨語言詞向量筆記8. 有助益的數據和工具
跨語言詞向量筆記8. 有助益的數據和工具單語資源跨語種數據跨語言詞向量模型評估工具 本文完全來自於Anders Søgaard等人的著作[Søgaard2019] Søgaard, A., Vulić, I., Ruder, S.
2020-07-06 11:45:33
原创 跨語言詞向量筆記1. 序言與分類方法
跨語言詞向量筆記1. 序言與分類方法本文所用記號跨語言詞向量建模方法分類參考文獻 本文完全來自於Anders Søgaard等人的著作[Søgaard2019] 提出跨語言詞向量的目的是在跨語言應用中表示各語言單詞詞義，並跨語言傳
2020-07-06 11:45:33
原创 跨語言詞向量筆記5. 文檔級別對齊方法
跨語言詞向量筆記5. 文檔級別對齊方法 本文完全來自於Anders Søgaard等人的著作[Søgaard2019] Søgaard, A., Vulić, I., Ruder, S., & Faruqui M. (2019).
2020-07-06 11:45:33
原创 跨語言詞向量筆記3. 詞級別對齊方法
跨語言詞向量筆記3. 詞級別對齊方法使用**平行數據**的單詞級別對齊方法基於映射的方法映射方法迴歸方法正交方法典型方法（canonical）邊界方法（margin）種子詞典微調提取通過改造法（retrofitting）求跨語言嵌
2020-07-06 11:45:33
原创 跨語言詞向量筆記2. 跨語言詞向量表示簡史
跨語言詞向量筆記2. 跨語言詞向量表示簡史使用雙語詞典的跨語言詞向量表示跨語言詞嵌入與詞對齊基於隱式/顯式跨語言概念的表示結語參考文獻 本文完全來自於Anders Søgaard等人的著作[Søgaard2019] Søgaard
2020-07-06 11:45:33
原创 跨語言詞向量筆記4. 句級別對齊方法
跨語言詞向量筆記4. 句級別對齊方法使用平行語料的句子級別方法組成法雙語自編碼器雙語skip-gram其它方法使用可比較數據的句級別對齊方法參考文獻 本文完全來自於Anders Søgaard等人的著作[Søgaard2019]
2020-07-06 11:45:33
原创 跨語言詞向量筆記7. 無監督跨語言詞向量
跨語言詞向量筆記7. 無監督跨語言詞向量種子詞典的推導基於GAN的方法基於ICP的方法其它方法精化與啓發式算法無監督方法的侷限性參考文獻 本文完全來自於Anders Søgaard等人的著作[Søgaard2019] Søgaar
2020-07-06 11:45:33
3
原创 神經翻譯筆記5擴展a：序列到序列模型解碼的二三事
文章目錄神經翻譯筆記5擴展a. 序列到序列模型解碼的二三事懲罰機制增加解碼結果的多樣性帶“溫度”的集束搜索多樣化集束搜索隨機搜索參考文獻 神經翻譯筆記5擴展a. 序列到序列模型解碼的二三事 本章（即神經翻譯筆記5）主要圍繞編碼器解
2020-07-06 11:45:29
2
原创 神經翻譯筆記4擴展a第一部分. RNN在TF1.x中的實現方法略覽
神經翻譯筆記4擴展a第一部分. RNN在TF1.x中的實現方法略覽RNN cell的實現`keras.layers.Layer``layers.Layer``nn.rnn_cell.RNNCell``LayerRNNCell``B
2020-07-06 11:45:29
2
原创 跨語言詞向量筆記6. 從跨語言詞向量到多語言詞向量
跨語言詞向量筆記6. 從跨語言詞向量到多語言詞向量使用詞級別信息的多語詞嵌入基於映射的方法使用人工混合語料和聯合訓練的方法使用句級別/文檔級別信息的多語詞嵌入參考文獻 本文完全來自於Anders Søgaard等人的著作[Søga
2020-07-06 11:45:29
原创 神經翻譯筆記4擴展b. RNN的正則化方法
文章目錄神經翻譯筆記4擴展b. RNN的正則化方法層歸一化對dropout的擴展集大成的方法：AWD-LSTM正則化方法不同形式的dropout變長的反向傳播嵌入共享嵌入維度與隱藏層維度分離激活單元正則化與時序激活單元正則化優化方
2020-07-06 11:45:29
2
原创 神經翻譯筆記4擴展a第二部分. RNN在TF2.0中的實現方法略覽
神經翻譯筆記4擴展a第二部分. RNN在TF2.0中的實現方法略覽 文章目錄神經翻譯筆記4擴展a第二部分. RNN在TF2.0中的實現方法略覽相關基類`tf.keras.layers.Layer``recurrent.Dropou
2020-07-06 11:45:29
22
原创 神經翻譯筆記4擴展d. 遷移學習概述與前BERT時代的NLP預訓練模型
神經翻譯筆記4擴展d. 遷移學習概述與前BERT時代的NLP預訓練模型遷移學習多任務學習（MTL）輔助任務爲什麼多任務學習能夠有效順序遷移學習終生學習（Lifelong learning）領域適配基於表示的方法領域相似度數據加權和
2020-07-06 11:45:29
原创 神經翻譯筆記5. 序列到序列模型與注意力機制
文章目錄神經翻譯筆記5. 序列到序列模型與注意力機制機器翻譯概論編碼器-解碼器結構集束搜索注意力機制結語其它參考文獻備註 神經翻譯筆記5. 序列到序列模型與注意力機制 本系列筆記從2018年3月開始編寫，雖然題名爲“神經翻譯筆記”
2020-07-06 11:45:28
1