TF-IDF是一种文本特征提取统计算法。
什么是词频?
词频(TF)即一个词语在文本中出现的频率。
文本总数(D):所搜集的所有文本数。
含关键词的文本数(Dw):含有某个词(关键字)的文本数目。
公式:
TF-IDF(w)=TF(w)*IDF(w)
TF(w)=w在所有文件中出现的次数/该文件的总词数。
IDF(w)=log(D/(Dw+1))//+1避免分母为0
IDF的作用:
降低具有普遍性词语的权重(比如一些语气词),提升具有个性化的词的频率。
总结一下就是:
一个词的重要性和它在当前文档中出现的次数成正比,和所有文档中出现的次数成反比。
对于中文的文本进行处理的步骤:
1.分词处理
2.生成向量
3.根据向量去做主题聚类