原创 情感分類《Convolutional Neural Networks for Sentence Classification》
Motivation： Razavian等人(2014)使用預訓練特徵提取器在圖像分類任務上取得了不錯的效果，同時CNN在自然語言處理的任務上的應用也很有效。受此啓發，本文作者使用預訓練的詞向量搭建一個簡單的CNN網絡。實驗表明：在句子分
2020-06-16 08:35:11
2
原创 中文詞性標註《Chinese part-of-speech tagging One-at-a-time or all-at-once word-based or Character-Based?》
Motivation： 大多數基於語料的語言處理都集中於英文這種語言，很少有針對中文提出的詞性標註系統，本文想把對英文處理方面的技術應用到中文上來，實現對中文的詞性標註。由於中文句子之間沒有空格，因此在進行詞性標註之前必須對中文進行分詞，
2020-06-16 08:35:11
原创 NLTK 安裝包 由於連接方在一段時間後沒有正確答覆或連接的主機沒有反應,連接嘗試失敗。
在用NLTK做命名實體識別時，報錯，提示有個包沒找到。 然後嘗試安裝這個包，結果還是不行： 提示：由於連接方在一段時間後沒有正確答覆或連接的主機沒有反應，連接嘗試失敗。> 在百度一些博客發現，需要去官方GitHub下載這個包https
2020-05-27 10:51:23
原创 (2019ACL)ERNIE：Enhanced Language Representation with Informative Entities
論文鏈接：https://www.aclweb.org/anthology/P19-1139.pdf 一、Motivation 像BERT這種預訓練的語言模型雖然在很多NLP任務上都取得了不錯的效果，但是BERT只是能讓一句話表達的更通順
2020-05-24 23:14:09
原创 pytorch 計算 kl散度 F.kl_div()
先附上官方文檔說明：https://pytorch.org/docs/stable/nn.functional.html torch.nn.functional.kl_div(input, target, size_average=No
2020-05-21 20:49:45
3
原创 VQ-VAE量子化自編碼器介紹
VQ-VAE中一個很大的創新就是對離散的值進行求梯度，稱爲Straight-Through Estimator，這是引入變量離散化後的優化技巧。 比如 y = arg min f(x)，這個操作是沒有梯度的，這樣就不能更新前面的參數，因此
2020-05-02 23:30:04
原创 linux 常用命令 ps (process status)
記錄一下，參考了下面兩篇博客： https://blog.csdn.net/freeking101/article/details/53444530 https://blog.csdn.net/u011441473/article/det
2020-04-27 04:02:36
原创 pycharm調試帶參數命令行程序
背景： 本來用命令行執行程序時是這樣的，但是運行之後直接出最終的結果。 無法查看程序在每一步到底是怎樣執行的，爲此有： 解決辦法： 1. 打開Run->Edit Configurations 2. 將參數填進去，注意只填參數，命令行執
2020-02-22 03:24:24
原创 python：glob模塊
python標準庫之glob介紹 glob 文件名模式匹配，不用遍歷整個目錄判斷每個文件是不是符合。 1、通配符 星號(*)匹配零個或多個字符 import glob for name in glob.glob('dir/*'):
2020-02-22 03:24:24
原创 sys.stdout.flush()
python的stdout是有緩衝區的，例子： import time import sys for i in range(5): print i, #sys.stdout.flush() time.slee
2020-02-22 03:24:24
1
原创 論文中多語言的神經機器翻譯方法（multilingual neural machine translation）
一般的神經機器翻譯模型（NMT）實現的是一種語言到另一種語言的翻譯，也就是用在特定的語言對之間。最近一些工作開始將一般的NMT擴展到多語言的場景。目前兩種通常的做法是：一、爲每種源語言單獨準備一個encoder，每種目標語言也準備一個de
2020-02-22 03:24:24
原创 pytorch .detach() .detach_() 和 .data
當我們在訓練網絡的時候可能希望保持一部分的網絡參數不變，只對其中一部分的參數進行調整；或者只訓練部分分支網絡，並不讓其梯度對主網絡的梯度造成影響，這時候我們就需要使用detach()函數來切斷一些分支的反向傳播。 一、detach()[s
2020-02-22 03:24:24
4
原创 文本分類《Multilingual Hierarchical attention networks for document classification》
Motivation： 在多語言的文本分類問題上一般都面臨兩個問題：一是計算成本會隨着語言數量的增加而線性增加；模型缺乏不同語言之間知識遷移能力，也就是在一種語言上習得的知識不能應用到另一種語言上。當前解決上述問題的方案都需要不同語言的文
2020-02-22 03:24:24
原创 依存句法解析《Structured Training for Neural Network Transition-Based Parsing》
Motivation： 基於轉移的依存句法分析方法在保證分析效率的同時也能達到滿意的準確率。和人工構造特徵的方法相比，陳丹琪等人(Chen)使用神經網絡和貪心算法構造了基於轉移的依存句法解析器。其效果雖優於人工方法但仍沒有達到state-
2019-10-25 22:48:32