Sklearn 深入教程

Scikit-learn（sklearn）是Python中功能强大且广泛使用的机器学习库。本教程将深入探讨sklearn中的高级主题，涵盖高级数据预处理、高级特征工程、复杂模型调参、高级集成学习、模型持久化与部署等内容。

高级数据预处理
- 复杂数据变换
- 生成多项式特征
- 自定义转换器
高级特征工程
- 特征选择算法
- 特征提取方法
复杂模型调参
- 随机搜索
- 贝叶斯优化
高级集成学习
- 堆叠模型
- 多模型融合
模型持久化与部署
- 模型持久化
- 模型部署

高级数据预处理

复杂数据变换

在实际应用中，数据通常需要复杂的变换才能适应模型的需求。sklearn中的ColumnTransformer可以帮助我们同时处理数值和类别特征。

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
import pandas as pd# 创建数据
data = pd.DataFrame({'numerical_feature': [1, 2, 3, 4],'categorical_feature': ['A', 'B', 'A', 'B']
})# 定义变换器
preprocessor = ColumnTransformer(transformers=[('num', StandardScaler(), ['numerical_feature']),('cat', OneHotEncoder(), ['categorical_feature'])])# 变换数据
data_transformed = preprocessor.fit_transform(data)
print(data_transformed)

生成多项式特征

多项式特征可以提升线性模型的表现。sklearn中的PolynomialFeatures可以方便地生成多项式特征。

from sklearn.preprocessing import PolynomialFeatures# 创建数据
X = np.array([[2, 3], [3, 4], [4, 5]])# 生成多项式特征
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)
print(X_poly)

自定义转换器

有时我们需要进行一些特殊的数据变换，这时可以定义自定义转换器。

from sklearn.base import BaseEstimator, TransformerMixinclass CustomTransformer(BaseEstimator, TransformerMixin):def __init__(self, factor=2):self.factor = factordef fit(self, X, y=None):return selfdef transform(self, X):return X * self.factor# 使用自定义转换器
transformer = CustomTransformer(factor=3)
data_transformed = transformer.fit_transform(data[['numerical_feature']])
print(data_transformed)

高级特征工程

特征选择算法

除了基本的特征选择方法，sklearn还提供了基于模型的重要性进行特征选择的功能。

from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_selection import SelectFromModel# 加载数据
X, y = load_iris(return_X_y=True)# 使用随机森林进行特征选择
clf = RandomForestClassifier()
clf.fit(X, y)selector = SelectFromModel(clf, prefit=True)
X_new = selector.transform(X)
print("Selected Features Shape:", X_new.shape)

特征提取方法

除了PCA，sklearn还提供了其他特征提取方法，如LDA（线性判别分析）。

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis# 使用LDA进行特征提取
lda = LinearDiscriminantAnalysis(n_components=2)
X_lda = lda.fit_transform(X, y)
print("LDA Features Shape:", X_lda.shape)

复杂模型调参

随机搜索

网格搜索在参数空间较大时会很耗时，随机搜索是一个高效的替代方法。

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint# 定义参数分布
param_dist = {'n_estimators': randint(50, 200), 'max_depth': randint(2, 10)}# 随机搜索
random_search = RandomizedSearchCV(clf, param_distributions=param_dist, n_iter=10, cv=5)
random_search.fit(X, y)
print("Best Parameters:", random_search.best_params_)

贝叶斯优化

贝叶斯优化是一种先进的优化技术，可以更高效地找到最佳参数。

from skopt import BayesSearchCV# 定义参数搜索空间
param_space = {'n_estimators': (50, 200), 'max_depth': (2, 10)}# 贝叶斯优化
bayes_search = BayesSearchCV(clf, search_spaces=param_space, n_iter=10, cv=5)
bayes_search.fit(X, y)
print("Best Parameters:", bayes_search.best_params_)

高级集成学习

堆叠模型

堆叠模型通过组合多个模型的输出作为输入来训练一个更强的模型。

from sklearn.ensemble import StackingClassifier# 定义基础模型
base_learners = [('rf', RandomForestClassifier(n_estimators=50)),('gb', GradientBoostingClassifier(n_estimators=50))
]# 堆叠分类器
stacking_clf = StackingClassifier(estimators=base_learners, final_estimator=LogisticRegression())
stacking_clf.fit(X_train, y_train)
y_pred = stacking_clf.predict(X_test)
print("Stacking Model Predictions:", y_pred)

多模型融合

多模型融合通过加权平均多个模型的预测结果来提高预测的稳定性。

from sklearn.ensemble import VotingClassifier# 多模型融合
voting_clf = VotingClassifier(estimators=base_learners, voting='soft')
voting_clf.fit(X_train, y_train)
y_pred = voting_clf.predict(X_test)
print("Voting Classifier Predictions:", y_pred)

模型持久化与部署

模型持久化

训练好的模型可以使用joblib或pickle进行保存，以便后续使用。

import joblib# 模型保存
joblib.dump(stacking_clf, 'stacking_model.pkl')# 模型加载
loaded_model = joblib.load('stacking_model.pkl')
y_pred_loaded = loaded_model.predict(X_test)
print("Loaded Model Predictions:", y_pred_loaded)

模型部署

模型可以通过API进行部署，常见的方法是使用Flask或FastAPI。

from flask import Flask, request, jsonify
import joblibapp = Flask(__name__)# 加载模型
model = joblib.load('stacking_model.pkl')@app.route('/predict', methods=['POST'])
def predict():data = request.get_json(force=True)prediction = model.predict([data['features']])return jsonify({'prediction': prediction.tolist()})if __name__ == '__main__':app.run(port=5000, debug=True)