TF-IDF
TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。
TF-IDF中的TF是指”词频”（Term Frequency）用来衡量某个词在一篇文章中出现的频率；IDF是指”逆文档频率”（Inverse Document Frequency），用来衡量出现过这个词的文章在总语料库中所占的比例。
如果某个词或短语在一篇文章中出现的频率(TF)高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
TF-IDF可以有效地帮助过滤掉类似于“的”，“是”，“了”的停用词，来考虑剩下更有区分度和实际意义的词语。
当有TF(词频)和IDF(逆文档频率)后，将这两个词相乘，就能得到一个词的TF-IDF的值。某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，所以通过计算文章中各个词的TF-IDF，由大到小排序，排在最前面的几个词，就是该文章的关键词。
TF-IDF算法步骤
第一步，计算词频：
考虑到文章有长短之分，为了便于不同文章的比较，进行”词频”标准化。
第二步，计算逆文档频率：
这时，需要一个语料库（corpus），用来模拟语言的使用环境。
如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数。
第三步，计算TF-IDF：
可以看到，TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。所以，自动提取关键词的算法就很清楚了，就是计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。
优缺点
TF-IDF的优点是简单快速，而且容易理解。缺点是有时候用词频来衡量文章中的一个词的重要性不够全面，有时候重要的词出现的可能不够多，而且这种计算无法体现位置信息，无法体现词在上下文的重要性。如果要体现词的上下文结构，那么你可能需要使用word2vec算法来支持。