后剪枝是机器学习中用于优化决策树模型的重要技术，通过移除不必要的分支来提升模型泛化能力。以下是关键知识点：
1. 基本概念
- 目的：防止过拟合，简化模型结构
- 原理：在训练完成后，自底向上剪除贡献度低的分支
- 常用方法：
- 减去法（Reduced Error Pruning）
- 代价复杂度法（Cost Complexity Pruning）
- 二元法（Twoing）
2. 核心优势
✅ 提高泛化能力：减少模型对训练数据的依赖
✅ 降低计算成本：简化树结构提升预测效率
✅ 增强可解释性：使模型更易于理解和分析
3. 应用场景
- 数据集噪声较多时
- 模型复杂度超出需求时
- 需要部署轻量化模型时
4. 代码示例（Python）
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.model_selection import train_test_split
# 训练模型
clf = DecisionTreeClassifier(max_depth=5)
clf.fit(X_train, y_train)
# 后剪枝操作
pruned_clf = DecisionTreeClassifier(max_depth=3)
pruned_clf.fit(X_train, y_train)
# 可视化对比
export_graphviz(clf, out_file="full_tree.dot", feature_names=features)
export_graphviz(pruned_clf, out_file="pruned_tree.dot", feature_names=features)