文章目录
- 一、Linear model
- 二、How to represent this function
- 三、Function with unknown parameter
- 四、ReLU
- 总结、A fancy name
一、Linear model
线性模型过于简单，有很大限制，我们需要更多复杂模式
蓝色是线性模型，线性模型无法去表示红色的那个线
所以线性模型有严重的局限性这被成为
Model Bias(模型偏差)
我们需要一个复杂的有位置参数的function
所有分段线性曲线=常数+多个分段线性函数的叠加
二、How to represent this function
用这个Sigmoid function来逼近这条蓝色的Hard Sigmoid function
例：
分别改变w，b，c
假设要写出红色的这条线
从简单模型到复杂模型
初始线性回归模型
引入非线性（sigmoid 函数）：将模型扩展为使用 sigmoid 激活函数引入更多权重和偏移
多特征线性模型：在此基础上，模型扩展为多输入特征
多特征与非线性结合：非线性函数 sigmoid 被应用在多个输入特征的线性组合上
通过多个输入特征和权重计算激活函数
简化成矩阵
将线性加权求和的结果通过非线性激活函数进行转换。
最后输出计算
最后用线性代数得到式子
三、Function with unknown parameter
将神经网络中的所有权重和偏置统一为一个参数向量 𝜃，便于进行优化
ML框架
定Loss
新模型优化
通过梯度下降法优化模型参数 𝜃 来最小化损失函数L。
找到最优的𝜃使L值最小
四、ReLU
也可以用ReLU，将Sigmoid的地方换成ReLU
例：
总结、A fancy name
我们给这些起了一个好听的名字
Neuron
Neuron Network
Deep Learning
发展变化
