用Python实现线性回归：从数学原理到代码实战

2025/2/22 2:24:14 来源：https://blog.csdn.net/qq_63911508/article/details/145654799 浏览: 次关键词：用Python实现线性回归：从数学原理到代码实战

一、前言：为什么线性回归是AI必修课？

作为机器学习领域的"Hello World"，线性回归算法具有三大核心价值：
1️⃣ 理解监督学习的底层逻辑（特征工程→模型训练→预测输出）
2️⃣ 掌握梯度下降等优化算法的实现原理
3️⃣ 构建后续学习逻辑回归、神经网络的基础认知

📌 小贴士：欢迎访问我的CSDN主页获取更多AI学习资源 → AI知识库

二、数学原理深度剖析

2.1 线性回归模型表达式

$\hat{y}=w_1x_1+w_2x_2+...+w_nx_n+b$
其中：

2.2 损失函数推导（MSE）

使用最小二乘法构建均方误差损失函数：

$J(w, b) = \frac{1}{2m} \sum_{i=1}^{m} \left( y^{(i)} - \hat{y}^{(i)} \right)^2$

2.3 梯度下降算法

通过链式求导法则更新参数：

$w := w - \alpha \frac{\partial J}{\partial w}$

$b := b - \alpha \frac{\partial J}{\partial b}$

三、Python代码实战（Scikit-learn版）

3.1 环境准备

# 基础库安装
!pip install numpy pandas matplotlib scikit-learn

3.2 数据预处理

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler# 加载数据集
data = load_boston()
X = data.data
y = data.target# 特征标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

3.3 模型训练与评估

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2)# 创建模型
model = LinearRegression()
model.fit(X_train, y_train)# 模型评估
print(f"训练集R²得分：{model.score(X_train, y_train):.3f}")
print(f"测试集R²得分：{model.score(X_test, y_test):.3f}")