决策树是机器学习中经典的可解释性强的算法，广泛应用于分类与回归任务。其核心思想是通过树状结构模拟人类决策过程，以下为关键知识点：
🧠 核心原理
信息熵（Information Entropy）
衡量数据纯度的指标，公式为：
$$ H(S) = -\sum_{i=1}^{n} p_i \log_2 p_i $$信息增益（Information Gain）
选择划分后熵减少最多的特征作为节点，公式为：
$$ IG(S, A) = H(S) - \sum_{v=1}^{v} \frac{|S_v|}{|S|} H(S_v) $$基尼指数（Gini Index）
衡量数据不纯度的另一种方法，值越小代表数据越纯净：
$$ Gini(S) = 1 - \sum_{i=1}^{n} p_i^2 $$
✅ 典型应用场景
- 金融风控：判断贷款违约风险
- 医疗诊断：基于症状分类疾病类型
- 客户分类：根据消费行为划分用户群体
⚖️ 优缺点对比
| 优点 | 缺点 |
|---|---|
| 可视化直观 | 容易过拟合（需剪枝） |
| 非参数方法 | 对连续值处理需离散化 |
| 快速训练 | 特征选择依赖信息量 |
📚 扩展阅读
想了解如何用代码实现决策树？点击此处深入学习 🔗
（注：本文内容为技术类教学资料，所有图片均通过安全过滤处理）