决策树是机器学习中常用的监督学习算法,适用于分类和回归任务。以下是实现决策树的基本步骤:
1. 环境准备
- 安装必要的库(以Python为例)
pip install scikit-learn matplotlib
- 导入核心模块
from sklearn import tree import numpy as np
2. 数据集加载
使用内置数据集简化演示:
# 加载鸢尾花数据集 🌸
from sklearn.datasets import load_iris
data = load_iris()
X = data.data
y = data.target
3. 模型训练
- 创建决策树分类器
clf = tree.DecisionTreeClassifier(criterion='gini')
- 训练模型
clf.fit(X, y)
4. 可视化树结构
使用plot_tree
函数展示决策过程:
import matplotlib.pyplot as plt
plt.figure(figsize=(12,8))
tree.plot_tree(clf, feature_names=data.feature_names, class_names=data.target_names, filled=True)
plt.show()
5. 预测与评估
- 进行预测
prediction = clf.predict(X)
- 计算准确率
accuracy = np.mean(prediction == y) print(f"准确率: {accuracy:.2f}")