TF-IDF（Term Frequency-Inverse Document Frequency）是一种统计方法，用于评估一个词对于一个文本集合或一个语料库中的其中一份文档的重要程度。简单来说，TF-IDF 是通过词频（TF）和逆文档频率（IDF）计算得出的，用于衡量一个词在文档中的重要性。

TF-IDF 的工作原理

  1. 词频（TF）：一个词在文档中出现的次数除以文档的总词数。TF 用来衡量一个词在文档中出现的频率。
  2. 逆文档频率（IDF）：一个词在整个文档集合中出现的频率的倒数。IDF 用来衡量一个词在文档集合中的普遍性。

TF-IDF 的计算公式为：TF-IDF = TF * IDF

TF-IDF 的应用

TF-IDF 常用于信息检索、文本挖掘和文本分类等领域。以下是一些常见的应用场景：

  • 信息检索：帮助搜索引擎确定搜索结果的相关性。
  • 文本挖掘：分析文本数据，提取有价值的信息。
  • 文本分类：将文本数据分类到不同的类别中。

示例

假设我们有一个文档集合，包含以下文档：

文档1：机器学习是一种人工智能技术。
文档2：人工智能在医疗领域的应用。
文档3：机器学习在金融行业的应用。

我们可以使用 TF-IDF 来计算每个词在文档集合中的重要性。以下是一些示例：

  • 机器：在文档1、文档2和文档3中都出现，因此 IDF 较高。
  • 学习：在文档1和文档3中出现，IDF 较高。
  • 人工智能：在文档2中出现，IDF 较高。

扩展阅读

想要了解更多关于 TF-IDF 的知识，可以参考以下链接：

机器学习