Sklearn的TfidfVectorizer中tfidf值的計算

TfidfVectorizer的實現是通過CountVectorizer和TfidfTransformer共同實現的。
其中TfidfTransformer實現了每個詞的tfidf值的計算。

下圖是官方文檔中，對tfidf值計算的說明：

可以看出默認的計算方法是
$idf(d,t) = \log\bigg[ \frac{(1+n)}{1+df(d,t)}\bigg] +1$
其中：

• $n$：所有的文檔數目
• $df(d,t)$：包含詞$t$的文檔數目

如果公式最後沒有$+1$的話，如果某個詞在所有文檔中都出現，且 $\log1 = 0$改詞的逆文檔頻率將爲0，從而導致改詞被忽略。