什么是降维？

降维是将高维数据映射到低维空间的技术，常用于数据压缩、可视化和特征选择。以下是 LDA 与 PCA 的核心区别：

1. 目标不同

  • PCA（主成分分析）
    ⚠️ 无监督算法，通过最大化方差保留数据全局结构
    📎 深入理解PCA原理

    主成分分析

  • LDA（线性判别分析）
    ⚠️ 有监督算法，通过最大化类间距离最小化类内距离
    📌 适用于分类任务，如人脸识别

    线性判别分析

2. 数学基础

算法 核心思想 公式亮点
PCA 协方差矩阵 → 特征值分解 $ \mathbf{X}^T \mathbf{X} $
LDA 散布矩阵 → 贝叶斯分类 $ \mathbf{S}_W $（类内散布矩阵）

3. 应用场景

  • ✅ PCA：数据可视化（如高维数据投影到2D/3D）、去噪
  • ✅ LDA：特征提取（如文本分类）、模式识别
  • ⚠️ LDA对数据分布假设更强，需注意过拟合风险

选择建议

  • 🔄 若仅需简化数据维度，优先选PCA
  • 🔄 若需保留分类信息，优先选LDA
  • 📌 可结合两者优势：先用PCA降维，再用LDA优化分类效果

扩展阅读