Logistic Regression 是一种常用的分类算法，它通过逻辑函数来预测某个类别属于正类或负类的概率。本实验将带你深入了解 Logistic Regression 的原理和应用。

实验目标

  • 理解 Logistic Regression 的基本原理
  • 掌握 Logistic Regression 的实现方法
  • 学会使用 Logistic Regression 进行分类预测

实验内容

  1. Logistic Regression 原理 Logistic Regression 是一种基于逻辑函数的线性回归模型，用于预测一个二元分类问题。其基本原理如下：

    • 逻辑函数：将线性回归模型的输出压缩到 0 和 1 之间，表示样本属于正类的概率。
    • 损失函数：使用交叉熵损失函数来评估模型的预测结果与实际标签之间的差异。
    • 优化算法：使用梯度下降算法来最小化损失函数，从而得到最优的模型参数。

  2. Logistic Regression 实现 下面是一个简单的 Logistic Regression 实现示例：

    import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def logistic_regression(X, y, learning_rate=0.01, num_iterations=1000):
    weights = np.zeros(X.shape[1])
    for _ in range(num_iterations):
        z = np.dot(X, weights)
        predictions = sigmoid(z)
        error = y - predictions
        weights += learning_rate * np.dot(X.T, error)
    return weights

# 示例数据
X = np.array([[1, 2], [1, 3], [1, 4], [1, 5], [1, 6]])
y = np.array([0, 0, 1, 1, 1])

weights = logistic_regression(X, y)
print("weights:", weights)

  3. Logistic Regression 应用 Logistic Regression 在实际应用中非常广泛，例如：

    • 分类问题：如垃圾邮件检测、信用卡欺诈检测等。
    • 推荐系统：如电影推荐、商品推荐等。

扩展阅读

图片展示

逻辑函数图像

Logic Function

梯度下降算法图像

Gradient Descent