逻辑回归（Logistic Regression，LR）

2024/10/24 3:25:25 来源：https://blog.csdn.net/yayakoko/article/details/140524030 浏览: 次关键词：逻辑回归（Logistic Regression，LR）

分类和回归是机器学习的两个主要问题。

线性回归：回归

逻辑回归：分类——找到一条线可以将不同类别区分开

逻辑回归中的参数：求解

由极大似然函数，估计得出目前结果的最大可能性。

$p(Y=1|x) = \frac{1}{1+e^{-x}}=g_{\theta }(x)$

$p(Y=0|x) = 1-\frac{1}{1+e^{-x}} =\frac{1}{1+e^{x}}=1-g_{\theta }(x)$

所以对于一个样本（x，y），他的标签y的概率可以定义为：

$p(y|x,\theta ) = (g_{\theta }(x)))^{y}(1-g_{\theta }(x))^{1-y}$

当有m也样本时：

$L(\theta ) =\prod_{i=1}^{m} p(y_{i}|x_{i},\theta ) = \sum_{i=1}^{m}(g_{\theta }(x_{i})))^{y_{i}}(1-g_{\theta }(x_{i}))^{1-y_{i}}$

其中 $\theta$ 为需要求的参数。

怎样求解，不改变函数单调性的对数函数，可以把乘法变为加法，得到对数似然函数。所以可以用对数似然函数构造损失函数，然后采用梯度下降法求解。

未完

相关资讯