TF-IDF 计算教程

TF-IDF（Term Frequency-Inverse Document Frequency）是一种统计方法，用于评估一个词对于一个语料库中的某一份文档的重要程度。以下是一个简单的TF-IDF计算教程。

1. 术语解释

• 词频（TF）：一个词在文档中出现的频率。
• 逆文档频率（IDF）：一个词在语料库中出现的频率的倒数。

2. 计算步骤

1. 计算词频（TF）：

   • 对于每个词，计算其在文档中出现的次数。
   • 将词频除以文档的长度，得到标准化词频。

2. 计算逆文档频率（IDF）：

   • 对于语料库中的每个文档，计算该词出现的次数。
   • 取对数（以2为底），得到逆文档频率。

3. 计算TF-IDF：

   • 将词频和逆文档频率相乘，得到TF-IDF值。

3. 示例

假设我们有一个包含两篇文档的语料库：

• 文档1：TF-IDF是一种文本分析方法。
• 文档2：TF-IDF常用于搜索引擎。

首先，计算词频（TF）：

• TF("TF-IDF") = 1/10
• TF("文本") = 1/10
• TF("分析") = 1/10
• TF("一种") = 1/10
• TF("常用于") = 1/10
• TF("搜索引擎") = 1/10

然后，计算逆文档频率（IDF）：

• IDF("TF-IDF") = log(2/1) = 1
• IDF("文本") = log(2/2) = 0
• IDF("分析") = log(2/2) = 0
• IDF("一种") = log(2/2) = 0
• IDF("常用于") = log(2/2) = 0
• IDF("搜索引擎") = log(2/2) = 0

最后，计算TF-IDF：

• TF-IDF("TF-IDF") = 1 * 1 = 1
• TF-IDF("文本") = 0 * 0 = 0
• TF-IDF("分析") = 0 * 0 = 0
• TF-IDF("一种") = 0 * 0 = 0
• TF-IDF("常用于") = 0 * 0 = 0
• TF-IDF("搜索引擎") = 0 * 0 = 0

4. 更多信息

想要深入了解TF-IDF的计算和应用，可以参考本站提供的TF-IDF高级教程。

TF-IDF