原创 ELMO,GPT,BERT初步學習
https://lilianweng.github.io/lil-log/2019/01/31/generalized-language-models.html 在2018年，諸如GPU, BERT等大體積的語言模型在各種任務上達
2020-07-05 21:38:57
原创 word2vec和glove
global vector for word representation(Glove) 兩類模型: count-based，並依賴於因式分解，如LSA,HAL,等，這些方法沒有利用全局統計信息，僅僅是初級的單詞相似度， 另一種方法是 s
2020-06-29 07:56:59
原创 文本分類_acc分數異常
在照搬別人的參數時候，nn.LSMT中有一個參數，batch_first，對它設置了True，於是分數直接下降了70個點。查閱過之後，發現是nn.LSTM中的batch_first是指它接受輸入時，會將第一維的位置，認爲是batc
2020-06-24 23:00:27
原创 CRF Layer on the top of BiLSTM-4_trans
https://createmomo.github.io/2017/10/17/CRF-Layer-on-the-Top-of-BiLSTM-4/ 2.3中，假設每個可能的標註序列有一個分值P(i)，一共有N個可能的標註序列，總分
2020-06-24 21:59:49
原创 文本補全
總體思路： 1. 通過一段文本，獲取ngram詞彙組合，如果是多gram組合，分別做ngram再組合更清晰。 2. 使用ngram構建一個字典樹 3. 輸入一個字，獲取下一個字的詞頻排序。 如下爲核心代碼部分 1. 取ngram代碼:
2020-06-24 21:59:49
原创 文本分類_簡單的網絡層
網絡層處理文本 class SimpleLSTMBaseline(nn.Module): def __init__(self, hidden_dim, emb_dim=300, num_linear=3):
2020-06-24 21:59:49
原创 bash的常用小技巧
以下爲本人工作常用的一些bash指令總結，希望能夠有幫助，直接ctrl+F關鍵詞查詢需要的指令，不定時更新~~ 1. 循環讀取文本中內容: while read p;do echo "ha ---$p" done<tex
2020-06-24 21:59:49
原创 CRF Layer on the top of BiLSTM-1_trans
https://createmomo.github.io/2017/09/12/CRF_Layer_on_the_Top_of_BiLSTM_1/ 概覽 介紹 在NER任務中，BiLSTM後接的CRF層 詳細解釋CRF層運作st
2020-06-24 21:59:49
原创 文本分類_引入embedding
分類時爲了能夠有更好的文本表徵，使用預訓練的embedding替換之前隨機的向量。 獲取bert embedding from tensorflow.python import pywrap_tensorflow import n
2020-06-24 21:59:49
原创 文本分類_torchtext文本預處理
在看attention的實現時，看的太費勁，在文本預處理一塊缺失太多，所以專門補補。 torchtext的功能 訓練模型之前，通常需要做的工作包括: 1. 從硬盤中讀取數據到內存中2. 符號化文本，看文章中的操作，是對文本進行格式
2020-06-24 21:59:49
原创 CRF Layer on the top of BiLSTM-3_trans
https://createmomo.github.io/2017/10/08/CRF-Layer-on-the-Top-of-BiLSTM-3/ CRFloss由真實標籤序列分數和所有可能標籤序列的分值組成。真實標籤序列的分數在
2020-02-27 06:28:40
2
原创 CRF Layer on the top of BiLSTM-5_trans
https://createmomo.github.io/2017/11/11/CRF-Layer-on-the-Top-of-BiLSTM-5/ 在4中解釋瞭如何計算S(i)，在這節中說明如何計算P(total) P(total
2020-02-27 06:28:40
1