Logistic Regression 是一种用于分类问题的统计方法，它通过一个逻辑函数将线性组合的输入映射到 [0, 1] 区间，从而预测一个二分类事件发生的概率。

基本概念

  • Sigmoid 函数：Logistic Regression 中的核心函数，通常表示为 σ(x)，它将输入映射到 [0, 1] 区间。
  • 权重（Weights）：模型中的参数，用于调整输入特征对预测结果的影响。
  • 偏置（Bias）：模型中的参数，用于调整预测结果的基准水平。

模型公式

Logistic Regression 的预测公式如下：

P(y=1|x) = σ(w0 + w1*x1 + w2*x2 + ... + wn*xn)

其中，σ 是 Sigmoid 函数，w0, w1, ..., wn 是权重，x1, x2, ..., xn 是输入特征。

损失函数

Logistic Regression 通常使用交叉熵损失函数来评估模型的性能：

Loss = -[y*log(P) + (1-y)*log(1-P)]

其中，y 是真实标签，P 是模型预测的概率。

模型训练

Logistic Regression 的训练过程通常使用梯度下降法来优化权重和偏置，从而最小化损失函数。

应用场景

Logistic Regression 在许多领域都有广泛的应用，例如：

  • 邮件分类
  • 信用评分
  • 疾病预测
  • 情感分析

扩展阅读

Sigmoid Function