损失函数是训练机器学习模型的核心组件,用于衡量模型预测结果与真实标签之间的差异。以下是常见损失函数的分类与应用场景:
1. 均方误差 (Mean Squared Error, MSE)
用途:适用于回归问题,计算预测值与真实值的平方差的平均值。
公式:
$$
\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2
$$
2. 交叉熵损失 (Cross-Entropy Loss)
用途:常用于分类问题,尤其在深度学习中衡量概率分布的差异。
公式:
$$
\text{Cross-Entropy} = -\sum_{c} y_c \log(\hat{y}_c)
$$
3. 对数损失 (Log Loss)
用途:用于二分类问题,惩罚错误分类的置信度。
公式:
$$
\text{Log Loss} = -\frac{1}{n} \sum_{i=1}^{n} \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right]
$$
4. 分类交叉熵损失 (Categorical Cross-Entropy)
用途:多分类问题的扩展,适用于独热编码标签。
公式:
$$
\text{Categorical Cross-Entropy} = -\sum_{i=1}^{C} y_i \log(\hat{y}_i)
$$
5. Hinge Loss
用途:支持向量机(SVM)中用于最大间隔分类。
公式:
$$
\text{Hinge Loss} = \max(0, 1 - y_i \hat{y}_i)
$$
小贴士:选择损失函数时需结合任务类型和模型需求,例如回归任务优先使用MSE,分类任务则选择交叉熵相关损失。 📌