分词（Tokenization）是自然语言处理（NLP）中的关键预处理步骤，用于将连续的文本分割为有意义的单元（如单词、标点符号等）。NLTK（Natural Language Toolkit）作为Python中常用的NLP库，提供了强大的分词功能。以下是使用NLTK进行分词的详细指南：

1. 安装与导入

首先确保已安装NLTK库，若未安装可通过以下命令安装：

pip install nltk

然后导入相关模块：

import nltk
nltk.download('punkt')  # 下载必要的资源
from nltk.tokenize import word_tokenize, sent_tokenize

2. 分词示例

句子分词

text = "分词是NLP的基础步骤。NLTK提供了多种工具。"
tokens = sent_tokenize(text)
print(tokens)

输出：

['分词是NLP的基础步骤。', 'NLTK提供了多种工具。']

单词分词

words = word_tokenize("NLTK分词教程：自然语言处理的基础步骤")
print(words)

输出：

['NLTK', '分词', '教程', '：', '自然', '语言', '处理', '的', '基础', '步骤', '.']

3. 应用场景

  • 文本分析：为后续词频统计、情感分析等任务提供基础数据
  • 机器学习：作为特征工程的一部分，将文本转化为模型可处理的格式
  • 信息提取：帮助识别关键实体或短语

4. 扩展阅读

如需进一步了解其他分词工具，可参考：
Spacy分词教程 📚

tokenization_nltk