线性代数：向量与矩阵
在机器学习中，数据通常以向量和矩阵形式存在。掌握以下核心概念是关键：
- 向量运算：加减、点积、范数
- 矩阵乘法：特征变换、数据降维
- 逆矩阵与行列式：用于求解线性方程组
概率统计：数据分布与随机变量
概率统计是理解模型不确定性的基石：
- 概率分布：高斯分布、伯努利分布
- 期望与方差：衡量数据集中趋势与波动
- 贝叶斯定理：核心于概率推理
微积分：导数与梯度
优化算法依赖微积分知识：
- 导数：函数变化率的描述
- 梯度下降：最小化损失函数的核心方法
- 链式法则：多层神经网络训练的基础
优化方法：凸函数与梯度下降
- 凸函数性质：保证局部最优即全局最优
- 梯度下降算法：学习率调节与收敛性分析
- 牛顿法与共轭梯度：加速收敛的高级技术