原创 命名實體識別《Neural Architectures for Named Entity Recognition》
Motivation： 目前在命名實體識別任務上表現最好的模型都嚴重依賴於人工構造的特徵（基於規則），因爲關於NER任務的語料很少，通過神經網絡難以訓練一個合適的模型，所以很多人提出在使用監督+無監督的語料提升模型的表現。本文提出兩種神經
2019-10-25 22:48:21
原创 命名實體識別《Named Entity Recognition using an HMM-based Chunk Tagger》
Motivation： 命名實體識別（NER）是識別文本中基於特定意義的實體，例如人名、地名、機構名等。因爲命名實體是信息抽取的關鍵步驟，而目前大多數的方法都是人爲構造特徵例如構造正則表達式。這種基於規則的NER方法只能用於某一種特定語言
2019-10-25 22:48:21
4
原创 依存句法解析《an efficient algorithm for projective dependency parsing》
Motivation: 依存句法分析在句法分析和語義消歧任務上發揮着重要的作用。在此之前決策式的分析方法（deterministic parsing）大部分都是語言心理學家考慮的問題，而這種方法在消歧任務上有很大優勢，因此本文提出一種數據
2019-10-25 22:48:21
原创 TBPTT算法——Truncated Backpropagation Through Time
一、介紹 在訓練循環神經網絡RNN中，往往使用BPTT（Backpropagation Through Time）更新參數。關於BPTT的詳細原理可以參考https://www.cntofu.com/book/85/dl/rnn/bptt
2019-09-26 21:27:44
原创 論文閱讀《Convolutional Neural Networks for Sentence Classification》
Motivation： Razavian等人(2014)使用預訓練特徵提取器在圖像分類任務上取得了不錯的效果，同時CNN在自然語言處理的任務上的應用也很有效。受此啓發，本文作者使用預訓練的詞向量搭建一個簡單的CNN網絡。實驗表明：在句子分
2019-09-26 21:27:42
原创 windows下安裝pytorch
因爲直接在官網使用命令下載往往因爲網絡原因要下載很長時間，安裝成功也就罷了，多數情況下很難一次就安裝成功。因此可以使用離線下載的方式。 一、準備工作 因爲後面安裝的時候需要pip install 這個命令，所以要安裝好anaconda，網
2019-09-26 21:27:42
14
原创 論文閱讀《Thumbs up？Sentiment Classification using Machine Learning Techniques》
相關背景： 這篇論文發表於2002，那時大量的文本分類研究都是對文章的主題分類，例如判斷一篇文章是體育類還是財經類。然而隨着在線評論的網站大肆興起，爲了提供更言簡意賅的信息，就需要判斷人們針對某件事發表言論的是肯定的還是否定的，即情感分類
2019-09-26 21:27:41
原创 pytorch masked_fill
原文鏈接：https://blog.csdn.net/qq_40210472/article/details/88826821 import torch.nn.functional as F
2019-09-16 21:35:44
1
原创 論文閱讀《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》
Abstract 這篇論文第一次運用注意力機制（Attention）解決機器翻譯中的問題。和傳統的統計機器翻譯（SMT）不同，神經機器翻譯（NMT）旨在構建一個神經網絡來提高翻譯性能。最近（2016）提出的NMT模型都是基於編碼器和解碼器
2019-09-15 21:50:49
34
原创 PuTTY連接ubuntu報錯：Connection refused
可能是服務器沒有安裝openssh-server Ubuntu下安裝openssh-server命令: $ sudo apt-get install openssh-server 安裝界面： 安裝完成之後重新連接Ubuntu: 點
2019-09-06 21:17:50
1
原创 自助法（bootstrapping）劃分數據集
一、前戲 在將數據集劃分爲訓練集和測試集時，測試樣本應從真實分佈中獨立同分布採樣獲得；同時測試集應該儘可能與訓練集互斥，也就是測試樣本儘量不要在訓練集中出現、未在訓練過程中使用過。 多數情況下采用留出法（hold-out），即從數據集中分
2019-09-03 20:47:33
原创 pytorch不同層指定不同的學習率
在構造優化器對象時，第一個參數不傳遞模型的所有參數，而是傳遞一個列表。將要更新的參數構造一個單獨的參數組，其中包含屬於它的參數列表。 # 實例 model = Model(input_size, hidden_size, output_
2019-08-13 21:29:23
原创 如何用二分類學習器解決多分類問題
使用二分類學習器解決多分類問題的基本思路是“拆解法”，也就是將多分類任務拆分成多個二分類任務求解。這裏主要介紹如何對多分類任務進行拆分，以及對拆分的多個分類器進行集成。 主要有三種拆分策略：“一對一”（One vs One，簡稱OvO）、
2019-08-13 21:29:23
2
原创 pytorch利用多個GPU並行計算
參考： https://pytorch.org/docs/stable/nn.html https://github.com/apachecn/pytorch-doc-zh/blob/master/docs/1.0/blitz_data_
2019-08-09 22:04:41
原创 pytorch1.0 實現多個層權重共享
1、在模型前向傳播時，可以多次重用同一個模塊實現權重共享。 2、用python循環語句或條件語句在每個前向傳播時構建一個動態計算圖，所以下面這個模型是一個動態網絡（動態控制流程） import torch import torch.nn
2019-08-08 22:01:55