文本預處理
文本是一類序列數據,一篇文章可以看作是字符或單詞的序列,本節將介紹文本數據的常見預處理步驟,預處理通常包括四個步驟:
- 讀入文本
- 分詞
- 建立字典,將每個詞映射到一個唯一的索引(index)
- 將文本從詞的序列轉換爲索引的序列,方便輸入模型
import collections
import re
def read_time_machine():
with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f:
lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f]
return lines
#.strip()移除字符串頭尾指定的字符(默認爲空格或換行符)或字符序列。
#.lower()轉換字符串中所有大寫字符爲小寫。
#re.sub是個正則表達式替換函數,用來實現通過正則表達式,實現比普通字符串的replace更加強大的替換功能;
lines = read_time_machine()
print('# sentences %d' % len(lines))
#分詞:我們對每個句子進行分詞,也就是將一個句子劃分成若干個詞(token),轉換爲一個詞的序列。
def tokenize(sentences, token='word'):
"""Split sentences into word or char tokens"""
if token == 'word':
return [sentence.split(' ') for sentence in sentences]
elif token == 'char':
return [list(sentence) for sentence in sentences]
else:
print('ERROR: unkown token type '+token)
#split() 通過指定分隔符對字符串進行切片,如果參數 num 有指定值,則分隔 num+1 個子字符串
tokens = tokenize(lines)
tokens[0:2]
#建立字典:爲了方便模型處理,我們需要將字符串轉換爲數字。因此我們需要先構建一個字典(vocabulary),將每個詞映射到一個唯一的索引編號。
class Vocab(object):
#參數解釋:
#1.token:上述tokenize的返回結果,二維列表
#2.min_freq:閾值,當詞出現頻率小於該閾值,忽略這些詞
#3.use_special_tokens:字典構件式是否使用了特殊的token
def __init__(self, tokens, min_freq=0, use_special_tokens=False):
#統計詞頻
counter = count_corpus(tokens) # : <key, value>:<詞,詞頻>
self.token_freqs = list(counter.items())#counter的二元組構成列表
self.idx_to_token = []#記錄字典需要維護的token
if use_special_tokens:#特殊token添加
# padding補償短句子
# begin of sentence句子開始出添加,標識開始
# end of sentence句子結束處添加,表示結束
# unknown輸入中的詞可能不在語料庫中,即未登錄詞,講這些當做unk處理
self.pad, self.bos, self.eos, self.unk = (0, 1, 2, 3)
self.idx_to_token += ['', '', '', '']
else:
self.unk = 0
self.idx_to_token += ['<unk>']
self.idx_to_token += [token for token, freq in self.token_freqs
if freq >= min_freq and token not in self.idx_to_token]
self.token_to_idx = dict()
for idx, token in enumerate(self.idx_to_token):
self.token_to_idx[token] = idx
def __len__(self):
return len(self.idx_to_token)
def __getitem__(self, tokens):
if not isinstance(tokens, (list, tuple)):
return self.token_to_idx.get(tokens, self.unk)
return [self.__getitem__(token) for token in tokens]
def to_tokens(self, indices):
if not isinstance(indices, (list, tuple)):
return self.idx_to_token[indices]
return [self.idx_to_token[index] for index in indices]
def count_corpus(sentences):
tokens = [tk for st in sentences for tk in st]#展平操作
return collections.Counter(tokens) # 返回一個字典,記錄每個詞的出現次數
vocab = Vocab(tokens)
print(list(vocab.token_to_idx.items())[0:10])
#將詞轉爲索引,使用字典,我們可以將原文本中的句子從單詞序列轉換爲索引序列
for i in range(8, 10):
print('words:', tokens[i])
print('indices:', vocab[tokens[i]])
用現有工具進行分詞
我們前面介紹的分詞方式非常簡單,它至少有以下幾個缺點:
- 標點符號通常可以提供語義信息,但是我們的方法直接將其丟棄了
- 類似“shouldn’t", "doesn’t"這樣的詞會被錯誤地處理
- 類似"Mr.", "Dr."這樣的詞會被錯誤地處理
我們可以通過引入更復雜的規則來解決這些問題,但是事實上,有一些現有的工具可以很好地進行分詞,我們在這裏簡單介紹其中的兩個:spaCy和NLTK。
下面是一個簡單的例子:
text = "Mr. Chen doesn't agree with my suggestion."
#spaCy
import spacy
nlp = spacy.load('en_core_web_sm')
doc = nlp(text)
print([token.text for token in doc])
#NLTK
from nltk.tokenize import word_tokenize
from nltk import data
data.path.append('/home/kesci/input/nltk_data3784/nltk_data')
print(word_tokenize(text))