【数据分析】线性及逻辑回归模型和Python实现

各位大佬好，这里是阿川的博客，祝您变得更强

在这里插入图片描述个人主页：在线OJ的阿川

大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述

阿川水平有限，如有错误，欢迎大佬指正在这里插入图片描述

在这里插入图片描述

Python 初阶
Python–语言基础与由来介绍
Python–注意事项
Python–语句与众所周知
数据清洗前 基本技能
数据分析—技术栈和开发环境搭建
数据分析—Numpy和Pandas库基本用法及实例
回归模型前 必看
数据分析—三前奏：获取/ 读取/ 评估数据
数据分析—数据清洗操作及众所周知
数据分析—数据整理操作及众所周知
数据分析—统计学基础及Python具体实现
数据分析—数据可视化Python实现超详解
数据分析—推断统计学及Python实现

线性回归模型简介

共线性问题

若本身两个变量间是高度相关的，而处理过程中将两个变量认为不相关/相互独立的，会导致 系数估计不准确，从而对预测产生影响
例如：若男性和女性两个变量分别设置两个虚拟变量，会导致共线性问题
- 因为男和女这两个变量本身是高度相关的，所以设置一个虚拟变量即可（1设成男，0设成女或者1设成男，0设成女），且当知道N-1虚拟变量值时，可以直接推导出第n个值，说明他们之间存在相关联，则设第n个虚拟变量是没必要的，会导致共线性问题

回归线

去拟合图中的数据点，尽可能的去靠近图中每个数据点的直线

在这里插入图片描述

残差

回归线的实际观测值与估计值（拟合值）之间的差

在这里插入图片描述

拟合目标

让所有残差的平方和最小

更专业的术语

最小二乘法
- 通过最小化残差的平方和来找到最好的模型参数

除了相关系数r 也要关注 p值
在独立双样本t/z检验中有一个叫做p值
p值小（拒绝原假设）

自变量对因变量有统计显著性影响
- 自变量对因变量有显著预测作用

p值大（接受原假设）

自变量对因变量无统计显著性影响
- 自变量对因变量无显著预测作用

在这里插入图片描述

p值大的自变量可选择剔除（因为该自变量对因变量无显著预测作用），再进行多轮拟合，再反复调整去求截距和系数，可以降低对预测值的干扰和误导

线性回归模型预测拟合度

R² 衡量线性回归模型整体的预测拟合度

R²的范围值 [0，1]
- 越接近 1，说明模型的预测值与实际观察值相差越小，使得线性回归模型整体和实际高拟合
- 越接近 0，说明模型的预测值与实际观察值相差越大，使得线性回归模型整体和实际低拟合

在这里插入图片描述

$R^2=1-\frac{\sum_{i=1}^{n} (y_i-\hat{y}_i)^2} {\sum_{i=1}^{n}(y_i-\bar{y})^2}$
$y_i$ ：第i个观测因变量值
$\bar{y}$ ：所有观测因变量值的平均值
$\hat{y}_i$ ：由模型给出的第i个观测的观测因变量值

虚拟变量

在线性回归模型中表示分类变量要引入虚拟变量

即只取0和1这两个值的变量

根据分类的类别，若有n种类型，则引入n-1个虚拟变量

若引入n个虚拟变量，则会引起共线性问题

pd.get_dummies（DataFrame名, columns=[" 分类变量"], dtype=int, drop_first） 将分类变量 转化为虚拟变量0/1,且删除 第1个引用的虚拟变量（从而保持 n-1个虚拟变量）
在这里插入图片描述

逻辑回归模型简介

逻辑回归

处理二分类问题，只能在零和一之间
- 要设置阈值，一般为0.5，但可以根据具体情况来调整阈值

在这里插入图片描述

拟合程度

最大似然估计

需要用到数值优化算法（例如其中的梯度下降等）来寻找最优参数值

在这里插入图片描述

需要排除 高度相关的变量，否则会导致数值优化算法无法收敛的问题，无法计算出模型参数值

最优参数值

在这参数值下观察到的样本出现的概率是最大的，从而让模型预测和样本之间差距越小

求出最优参数值后，看p值
看自变量的系数值，然后对自然常数e 求系数的那个值的次方，反映的是自变量对因变量的倍数影响
在这里插入图片描述

线性回归Python具体实现

简单线性回归 y=b₀+mx

预测未知数据，用 自变量值来预测因变量值
- 因变量只受到一个自变量影响

在这里插入图片描述

多元线性回归 y=b₀+b₁x+b₂x+…+b_nx_n

因变量 受到 多个自变量影响
- 自变量应该相互独立，不应该高度相关
  - 否则导致对系数估计不准确

在这里插入图片描述

$y= b_{0}+mx$
或者
$y= b_{0}+b_1x++b_2x+..+b_nx_n$
$b=\frac{\sum y_i-m(\sum x_i)}{n}$
$m=\frac{n(\sum x_iy_i)-(\sum x_i)}{ n(\sum x_i^2)-(\sum x_i)^2}$
y：因变量
$b_0$ ：y轴截距，可以视为 与常量1相乘

m, $b_1$ , $b_2$ … $b_n$ ：斜率（也称系数）
x：自变量
$x_i$ ：第i个观测的自变量值
$y_i$ ：第i个观测的因变量值

先安装 statsmodels库，并引入模块：import statsmodels.api as sm

在这里插入图片描述

y=DataFrame名[" "] 提取因变量
x=DataFrame名.drop[" ",axis=1] 删除掉因变量从而提取自变量
或者
x=DataFrame名[[" "]] 选择提取自变量

在这里插入图片描述

自变量1.corr（自变量2） 验证自变量间的相关性

结果越接近1 说明越相关
结果越接近0 说明越不相关
或者

DataFrame名.corr（） 自动对各变量之间找相关系数

在这里插入图片描述

.abs（） 得到所有元素绝对值

还可以搭配热力图heatmap，一眼看出颜色深浅

在这里插入图片描述

以相关系数0.8作为阈值，进行筛选相关自变量，确保不会导致共线性问题，然后开始求截距
sm.add_constant（参数） 将截距常量1纳入模型

在这里插入图片描述

sm.OLS（因变量，自变量） 最小二乘法
.fit（） 对数据进行拟合并生成一个实例
.summery（） 对实例进行展示
在这里插入图片描述
当得到线性回归模型后，进行预测

pd.Categorical（DataFrame[分类变量]， categories=[" "]） 将分类变量 转化为category类型

categories 该参数可以告诉系统虚拟变量的全部类型

再get_dummies（） 将分类变量转化为虚拟变量

在这里插入图片描述

线性回归模型.predict（传入包含所有自变量的DataFrame） 预测模型

要求：每列都是 模型中的自变量（不多不少），这样每行才是一个要预测的观测值

在这里插入图片描述

结构流程图
在这里插入图片描述

在模型中没有标准答案，去尝试、调整、验证模型

逻辑回归Python具体实现

逻辑回归 $log(\frac{p}{1-p})=b_0+b_1x+b_2x+..+b_nx_n$

在这里插入图片描述

$log(\frac{p}{1-p})=b_0+b_1x+b_2x+..+b_nx_n$
$p=\frac{1}{1+e^{-(b_0+b_1x+b_2x+..+b_nx_n)}}$
p：因变量y=1的概率（ y是二元变量，只能取0或1）
$x_1$ , $x_2$ , $x_3$ ,… $x_n$ ：预测变量
$b_0$ , $b_1$ , $b_2$ ,…, $b_n$ 是回归系数
先导入模板：import statsmodels.api as sm

在这里插入图片描述

pd.get_dummies（DataFrame, columns=[" 分类变量"], dtype=int, drop_first）将分类变量转化为虚拟变量
.corr（）排除共线性问题
.abs（）转化为绝对值
sm.add_constant（）截距常量1纳入模型

在这里插入图片描述

sm.Logit（因变量，自变量）最大似然估计
.fit（）对数据进行拟合并生成实例
.summary（）查看输出
先看p值看哪些变量没有显著预测作用，一般设置阈值为0.05，再看 codf系数，但要将该系数翻译成自然语言e的倍数
np.exp（）计算e的多少次方
.predict（）预测模型
在这里插入图片描述