自然语言处理（NLP）是人工智能领域的一个重要分支，Python 作为一种易学易用的编程语言，在 NLP 领域有着广泛的应用。本教程将带你入门 Python 自然语言处理。

基础库

在 Python 中，有几个常用的库可以帮助我们进行 NLP 操作：

  • jieba: 中文分词库
  • nltk: 自然语言处理工具包
  • spaCy: 一个现代、快速的自然语言处理库

查看更多关于 jieba 的使用方法

中文分词

中文分词是 NLP 的基础，以下是一个使用 jieba 进行中文分词的例子：

import jieba

text = "Python 是一门非常流行的编程语言。"
seg_list = jieba.cut(text, cut_all=False)
print("/ ".join(seg_list))

词性标注

词性标注可以帮助我们理解每个词在句子中的角色，以下是一个使用 jieba 进行词性标注的例子：

import jieba.posseg as pseg

text = "Python 是一门非常流行的编程语言。"
words = pseg.cut(text)
for word, flag in words:
    print("%s %s" % (word, flag))

词向量

词向量可以将单词映射到向量空间，方便进行相似度计算和文本分类等任务。以下是一个使用 spaCy 创建词向量的例子：

import spacy

nlp = spacy.load('zh_core_web_sm')
doc = nlp("Python 是一门非常流行的编程语言。")
print(doc.vector)

文本分类

文本分类是将文本数据分类到预定义的类别中。以下是一个使用 scikit-learn 进行文本分类的例子：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression

# 假设有一个文本列表和一个对应的标签列表
texts = ["Python 是一门编程语言", "Java 是一门编程语言"]
labels = [0, 1]

# 创建 TF-IDF 向量器
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(texts)

# 创建逻辑回归模型
model = LogisticRegression()
model.fit(X, labels)

# 测试
test_text = "PHP 是一门编程语言"
test_vector = vectorizer.transform([test_text])
prediction = model.predict(test_vector)
print("预测结果：", prediction)

查看更多关于文本分类的教程

以上只是 Python NLP 的一些基本应用，还有更多高级技巧和工具等待你去探索。祝你在 NLP 领域学习愉快！