超参数调优工具教程

超参数调优是机器学习模型训练中非常重要的一环，它直接影响到模型的性能。本文将介绍一些常用的超参数调优工具，帮助你更高效地进行模型训练。

1. GridSearchCV

GridSearchCV 是 Scikit-learn 库中提供的一个用于超参数调优的工具。它可以通过遍历一组参数组合，找到最优的参数组合。

from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier

# 加载数据集
data = load_iris()
X, y = data.data, data.target

# 创建随机森林分类器
clf = RandomForestClassifier()

# 设置参数网格
param_grid = {
    'n_estimators': [10, 50, 100],
    'max_depth': [None, 10, 20, 30],
    'min_samples_split': [2, 5, 10]
}

# 创建 GridSearchCV 对象
grid_search = GridSearchCV(clf, param_grid, cv=5)

# 训练模型
grid_search.fit(X, y)

# 输出最优参数
print("Best parameters:", grid_search.best_params_)

2. RandomizedSearchCV

RandomizedSearchCV 是 GridSearchCV 的一个变种，它不会遍历所有的参数组合，而是从参数网格中随机选择参数组合进行训练。

from sklearn.model_selection import RandomizedSearchCV
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from scipy.stats import randint

# 加载数据集
data = load_iris()
X, y = data.data, data.target

# 创建随机森林分类器
clf = RandomForestClassifier()

# 设置参数网格
param_distributions = {
    'n_estimators': randint(10, 100),
    'max_depth': randint(1, 20),
    'min_samples_split': randint(2, 10)
}

# 创建 RandomizedSearchCV 对象
random_search = RandomizedSearchCV(clf, param_distributions, n_iter=10, cv=5)

# 训练模型
random_search.fit(X, y)

# 输出最优参数
print("Best parameters:", random_search.best_params_)

3. Hyperopt

Hyperopt 是一个基于概率搜索的超参数优化库，它使用贝叶斯优化算法来寻找最优的参数组合。

from hyperopt import hp, fmin, tpe, Trials
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier

# 加载数据集
data = load_iris()
X, y = data.data, data.target

# 创建随机森林分类器
clf = RandomForestClassifier()

# 设置参数空间
space = {
    'n_estimators': hp.quniform('n_estimators', 10, 100, 1),
    'max_depth': hp.quniform('max_depth', 1, 20, 1),
    'min_samples_split': hp.quniform('min_samples_split', 2, 10, 1)
}

# 定义目标函数
def objective(params):
    clf.set_params(**params)
    score = cross_val_score(clf, X, y, cv=5).mean()
    return -score

# 运行优化
trials = Trials()
best = fmin(objective, space, algo=tpe.suggest, max_evals=10, trials=trials)

# 输出最优参数
print("Best parameters:", best)

4. 总结

以上介绍了三种常用的超参数调优工具，它们可以帮助你更高效地进行模型训练。在实际应用中，可以根据具体问题和数据集选择合适的工具。

更多机器学习教程