B站吴恩达机器学习笔记

机器学习视频地址：

4.5 线性回归中的梯度下降_哔哩哔哩_bilibili

损失函数学习地址：

损失函数选择

选凸函数的话，会收敛到全局最小值。证明凸函数用Hessian矩阵。凸函数定义：两点连线比线上所有点都大。

batch理解：

• 在机器学习中，指的是用于一次模型更新的所有样本的集合。当使用批处理进行训练时，每次更新模型参数是基于整个批处理内的所有样本计算得到的梯度。
• batch设置为2的话，数据集6张图片，第一次1 2第二次3 4第三次5 6

梯度下降法学习地址：

numpy学习地址：

Python之Numpy详细教程_python numpy-CSDN博客

numpy常用函数：

np.array([1,2,3])np.array(
[1,2],
[2,3],
[3,4])
//reshape(-1, 1) 是一种便捷的方式来将任何一维数组转换为列向量，其中 -1 告诉 NumPy 自动计算合适的尺寸以匹配另一维度的大小（在这里是指定的 1）
//reshape(-1, x)可以理解为得到（？，x）的数组
np.array([1, 2, 3]).reshape(-1, 1)
//做点积操作
np.dot(w,x)

特征归一化处理：

归一化方法学习地址：

Min-Max 归一化：通过线性变换将数据映射到[0, 1]区间内。

Z-score 标准化（Standardization）：这种方法将原始数据转换为均值为0、标准差为1的数据分布，即标准正态分布。

L2 正则化（也称为向量归一化）：对于每个样本，将其特征向量除以其L2范数，使得每个样本的特征向量长度为1。这在文本分类等需要处理高维度稀疏数据的任务中非常有用。

Batch Normalization：不同于上述针对输入数据的归一化方法，Batch Normalization是在神经网络内部使用的一种技术，通常应用于隐藏层的输出上。它通过对每一批次的小批量数据进行归一化，保持输入到每一层的分布稳定，从而加速训练过程，并允许使用更高的学习率。

Layer Normalization：与Batch Normalization不同，Layer Normalization是基于单个训练样本而不是批次来计算均值和方差，因此不受批次大小的影响，特别适合于循环神经网络（RNN）或需要在线学习的场景。

梯度下降中如何选择：

正常情况下会是这样，如果误差越来越大说明学习率大了。

停止条件：

1.看图达到最小。2.判断收敛（数分那种收敛判定）。

如何选择：

这两种说明学习率太大或者程序有bug。

常用技巧就是将学习率设置的很小。

通常来说：0.001 0.003  0.01 0.03  0.1  0.3 1 ...经常尝试扩大三倍取值。