二分类的概率分布建模

2024/12/21 18:01:10 来源：https://blog.csdn.net/m0_53605808/article/details/144561320 浏览: 次关键词：二分类的概率分布建模

在二分类问题中，概率分布用于描述一个样本属于类别 y=1 的概率 P(y=1∣x) 和属于类别 y=0y = 0y=0 的概率 P(y=0∣x) ，通常满足：

P(y=1∣x)+P(y=0∣x)=1

这类问题的概率分布通常采用伯努利分布（Bernoulli Distribution）建模。

伯努利分布模型
在二分类问题中，每个样本的标签 y 被建模为一个伯努利分布：

其中：
- y∈{0,1} 表示类别标签
- $p = P(y=1|x)$ 是属于类别 1 的概率
- $1-p = P(y=0|x)$ 是属于类别 0 的概率
概率估计方法
- 假设 p 的值由某个模型 h(x) 决定。
- 通常通过一个可微分的函数（如逻辑函数）将输入 x 转换为概率值。
逻辑回归中的概率分布
在逻辑回归中，概率分布是通过 Sigmoid 函数定义的：

其中：
- $w^T x + b$ 是线性模型的输出
- σ(z) 是 Sigmoid 函数

似然函数
对于一个二分类数据集 $\{(x_i, y_i)\}_{i=1}^n$ ，其条件概率的联合分布为：
$L(w, b) = \prod_{i=1}^n P(y_i|x_i)$
其中 $P(y_i|x_i) = p_i^{y_i} (1-p_i)^{1-y_i}$ 。
对数似然函数
为了便于计算和优化，通常取对数得到对数似然函数：
$\ell(w, b) = \sum_{i=1}^n \left[ y_i \log P(y_i|x_i) + (1 - y_i) \log (1 - P(y_i|x_i)) \right]$
将 $P(y_i|x_i)$ 代入具体模型（如逻辑回归），可以优化模型参数 w、b 。

高斯分布（Gaussian Distribution）
如果输入特征 x 或数据点来自不同类别的分布，通常假设类别条件概率服从高斯分布：
- 在判别式模型中（如 LDA 和 QDA），基于这些分布来推导分类边界。
伯努利分布（Bernoulli Distribution）
输出类别标签 y的概率分布符合伯努利分布，概率参数由模型预测给出。
二项分布（Binomial Distribution）
如果需要处理多个样本的总分类概率，可以用二项分布描述：

$P(X = k) =\frac{n!}{k!(n-k)!}p^k (1-p)^{n-k}$

其中：

X 是成功次数的随机变量。

n 是独立试验的总次数。

k 是成功次数。

p 是每次试验成功的概率（即分类为某一类的概率，如 P(y=1∣x) 。

1−p 是每次试验失败的概率。

这说明当 n 较大时，分布会趋于稳定，但当 p 接近 0 或 1 时，分布会非常偏斜。

与伯努利分布的关系
伯努利分布是二项分布的特例，当 n=1 时：
$P(X = 1) = p$ $\quad P(X = 0) = 1-p$
与正态分布的关系（中心极限定理）
当 $n\to \infty$ 且 p 不变时，二项分布可以近似为正态分布：
$X \sim \mathcal{N}(n \cdot p, n \cdot p \cdot (1-p))$
这是二项分布用于大样本估计的理论基础。

AUC-ROC 曲线
- AUC (Area Under Curve) 衡量分类器对概率分布预测的能力。
- ROC 曲线表示不同阈值下的真阳性率（TPR）和假阳性率（FPR）。
Log Loss
对数似然损失衡量模型对概率分布的拟合效果：
$\text{Log Loss} = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log p_i + (1-y_i) \log (1-p_i) \right]$
Brier Score
衡量预测概率的精度：
$\text{Brier Score} = \frac{1}{n} \sum_{i=1}^n (p_i - y_i)^2$