Python_文本分析_TF-IDF

1. TF-IDF介紹

2. 計算邏輯

我這裏使用了一個簡單的數據集幫助大家理解TF-IDF的計算（如下）。數據集爲自定義的corpus，一共有四段文本，每一段都比較少來幫助理解計算邏輯。

import numpy as np
import pandas as pd 
from sklearn.feature_extraction.text import TfidfTransformer  
from sklearn.feature_extraction.text import CountVectorizer

corpus = [ '原子彈 芒果 應用', '芒果 應用', '原子彈 應用', '應用']

vectorizer = CountVectorizer()          
transformer = TfidfTransformer()       
X = vectorizer.fit_transform(corpus)   

tfidf = transformer.fit_transform(X)  
word = vectorizer.get_feature_names() 
weight = tfidf.toarray()               
for i in range(len(weight)):      
    print("-------第", i+1, "段文本的詞語tf-idf權重------")
    for j in range(len(word)):
        print(word[j], weight[i][j])

計算接結果爲：

-------第 1 段文本的詞語tf-idf權重------
原子彈 0.640434054078
應用 0.423896738316
芒果 0.640434054078
-------第 2 段文本的詞語tf-idf權重------
原子彈 0.0
應用 0.551939416352
芒果 0.833884212992
-------第 3 段文本的詞語tf-idf權重------
原子彈 0.833884212992
應用 0.551939416352
芒果 0.0
-------第 4 段文本的詞語tf-idf權重------
原子彈 0.0
應用 1.0
芒果 0.0

3. 實現用例

下面我們將使用一個具體的數據集來實現IF-IDF模型。