情感分析教程

作者|Zijing Zhu
編譯|VK
來源|Towards Datas Science

據估計,世界上80%的數據是非結構化的。因此,從非結構化數據中提取信息是數據分析的重要組成部分。

文本挖掘是從非結構化文本數據中獲取有價值的信息的過程,情感分析是文本挖掘的應用之一。它使用自然語言處理和機器學習技術從文本數據中理解和分類情緒。在商業環境中,情緒分析廣泛應用於瞭解客戶評論、從電子郵件中檢測垃圾郵件等。

本文是本教程的第一部分,介紹了使用Python進行情緒分析的具體技術。爲了更好地說明程序,我將以我的一個項目爲例,對WTI原油期貨價格進行新聞情緒分析。我將介紹重要的步驟以及相應的Python代碼。

一些背景資料

原油期貨價格短期內有較大波動。任何產品的長期均衡都是由供求狀況決定的,而價格的短期波動則反映了市場對該產品的信心和預期。在本項目中,我利用與原油相關的新聞文章來捕捉不斷更新的市場信心和預期,並通過對新聞文章進行情緒分析來預測未來原油價格的變化。以下是完成此分析的步驟:

1、收集資料:網絡抓取新聞文章

2、文本數據預處理(本文)

3、文本矢量化:TFIDF

4、用logistic迴歸進行情緒分析

5、使用python flask web app在Heroku部署模型

我將討論第二部分,即本文中文本數據的預處理。如果你對其他部分感興趣,請繼續閱讀。

文本數據預處理

我使用NLTK、Spacy和一些正則表達式中的工具來預處理新聞文章。要導入庫並使用Spacy中的預構建模型,可以使用以下代碼:

import spacy
import nltk

# 初始化spacy'en'模型

nlp = spacy.load(‘en’, disable=[‘parser’, ‘ner’])

之後,我用Pandas讀入數據:

“Subject”和“Body”是我將應用文本預處理過程的列。我按照標準的文本挖掘過程對新聞文章進行預處理,以從新聞內容中提取有用的特徵,包括標識化、刪除停用詞和詞形還原。

標識化

文本數據預處理的第一步是將每個句子分解成單獨的單詞,這稱爲標識化。使用單個單詞而不是句子會破壞單詞之間的聯繫。然而,這卻是一種常用的方法。計算機通過檢查文章中出現的單詞和這些單詞出現的次數來分析文本數據是比較高效和方便的,並且足以得出有價值的結果。

以我的數據集中的第一篇新聞文章爲例:

可以使用NLTK tokenizer:

或者可以使用Spacy,記住nlp是上面定義的Spacy引擎:

標識化之後,每一篇新聞文章都將轉換成一個單詞、符號、數字和標點符號的列表。你可以指定是否也要將每個單詞都轉換爲小寫。下一步是刪除無用信息。例如,符號、數字、標點符號。我將使用spacy和regex組合來刪除它們。

import re

#標識化和刪除標點
words = [str(token) for token in nlp(text) if not token.is_punct] 

#刪除數字和其他符號,但“@”除外--用於刪除電子郵件
words = [re.sub(r"[^A-Za-z@]", "", word) for word in words]

#刪除網站和電子郵件地址
words = [re.sub(r”\S+com”, “”, word) for word in words]
words = [re.sub(r”\S+@\S+”, “”, word) for word in words]

#刪除空白
words = [word for word in words if word!=’ ‘]

應用上述轉換後,原始新聞文章如下所示:

停用詞

經過一番改造,新聞文章乾淨多了,但我們還是看到了一些我們不希望看到的詞,比如“and”、“we”等,下一步就是去掉無用的詞,即停用詞。

停用詞是在許多文章中經常出現但沒有意義的詞。stopword的例子有“I”、“the”、“a”、“of”。這些字眼如果刪除,將不會影響對文章的理解。要刪除stopwords,我們可以從NLTK庫導入stopwords。

此外,我還列出了其他在經濟分析中廣泛使用的停用詞列表,包括日期和時間,更一般的沒有經濟意義的單詞,等等。以下是我如何構建停用詞列表的方法:

#導入其他停用詞列表
with open(‘StopWords_GenericLong.txt’, ‘r’) as f:
 x_gl = f.readlines()
with open(‘StopWords_Names.txt’, ‘r’) as f:
 x_n = f.readlines()
with open(‘StopWords_DatesandNumbers.txt’, ‘r’) as f:
 x_d = f.readlines()
 
#導入nltk停用詞
stopwords = nltk.corpus.stopwords.words(‘english’)

#合併所有停用詞
[stopwords.append(x.rstrip()) for x in x_gl][stopwords.append(x.rstrip()) for x in x_n][stopwords.append(x.rstrip()) for x in x_d]

#將所有停用詞改爲小寫
stopwords_lower = [s.lower() for s in stopwords]

然後從新聞文章中排除停用詞:

words = [word.lower() for word in words if word.lower() not in stopwords_lower]

應用於上一個示例,其外觀如下:

詞形還原

除去停止字,以及符號、數字和標點符號後,我們要把每一篇新聞文章的單詞進行詞形還原。我們必須去掉語法時態並將每個單詞轉換成其原始形式。

例如,如果我們想計算一篇新聞文章中出現“open”一詞的次數,我們需要計算“open”、“opens”、“opened”的出現次數。因此,詞形還原是文本轉換的一個重要步驟。另一種將單詞轉換成原始形式的方法叫做詞幹提取。它們之間的區別是:

詞形還原是把一個詞引入它原來的詞形中,詞幹提取是把一個詞的詞根提取出來(可能直接去掉前綴後綴)。我選擇詞形還原而不是詞幹提取,因爲詞幹提取後,有些詞變得很難理解。從解釋的角度來說,詞形還原比詞幹提取好。

上面的引理很容易實現。在詞形還原之後,每一篇新聞文章都將轉換成一個詞的列表,這些詞都是原來的形式。新聞文章現在改成這樣:

總結

讓我們總結一下函數中的步驟,並在所有文章中應用該函數:

def text_preprocessing(str_input): 
     #標識化,刪除標點,詞形還原
     words=[token.lemma_ for token in nlp(str_input) if not         token.is_punct]
 
     #刪除符號、網站、電子郵件地址
     words = [re.sub(r”[^A-Za-z@]”, “”, word) for word in words] 
     words = [re.sub(r”\S+com”, “”, word) for word in words]
     words = [re.sub(r”\S+@\S+”, “”, word) for word in words] 
     words = [word for word in words if word!=’ ‘]
     words = [word for word in words if len(word)!=0] 
 
     #刪除停用字 
     words=[word.lower() for word in words if word.lower() not in     stopwords_lower]
     
     #將列表合併爲一個字符串 
     string = " ".join(words)
     
     return string

在這裏,文本預處理與前面的所有預處理步驟相結合:

在將其推廣到所有新聞文章之前,重要的是將其應用於隨機新聞文章,並查看其工作原理,遵循以下代碼:

import random

index = random.randint(0, df.shape[0])
text_preprocessing(df.iloc[index][‘Body’])

如果你想爲此特定項目排除一些額外的單詞,或者你想刪除一些多餘的信息,你可以在應用於所有新聞文章之前修改函數。這是一篇隨機選取的新聞文章,在標識化前後,去掉了停用詞和詞形還原。

預處理前的新聞文章:

預處理後的新聞文章

如果可以,你可以將所有文章都應用於以下函數:

df[‘news_cleaned’]=df[‘Body’].apply(text_preprocessing)
df[‘subject_cleaned’]=df[‘Subject’].apply(text_preprocessing)

結論

文本預處理是文本挖掘和情感分析的重要組成部分。有很多方法可以對非結構化數據進行預處理,使其可讀,便於計算機將來分析。下一步,我將討論用於將文本數據轉換爲稀疏矩陣,以便它們可以用作定量分析的輸入。

如果你的分析很簡單,並且不需要在預處理文本數據時進行大量定製,那麼vectorizers通常具有內嵌函數來執行基本步驟,比如標識化、刪除stopwords。或者你可以編寫自己的函數,並在向量化器中指定自定義函數,這樣就可以同時對數據進行預處理和向量化。

如果你希望這樣做,那麼你的函數需要返回一個經過標記化的單詞列表,而不是一個長字符串。但是,就個人而言,我更喜歡在向量化之前先對文本數據進行預處理。通過這種方式,我一直在監視函數的性能,而且它實際上會更快,特別是當你有一個大的數據集時。

原文鏈接:https://towardsdatascience.com/a-step-by-step-tutorial-for-conducting-sentiment-analysis-a7190a444366

歡迎關注磐創AI博客站:
http://panchuang.net/

sklearn機器學習中文官方文檔:
http://sklearn123.com/

歡迎關注磐創博客資源彙總站:
http://docs.panchuang.net/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章