跟着李沐老师学习深度学习（六）

模型选择 + 过拟合和欠拟合

模型选择

如何选择超参数

• 例子：预测谁会偿还贷款
  • 得到100个申请人的信息，其中五个人违约；
    -> 可能会发现一个五个人共有的特点：都穿了蓝色衬衫
    此时模型会以为这是一个强信号；但这会存在问题：有些信息不仅不助于正确收敛，反而会误导神经网络。（相关但不是因果）

训练误差和泛化误差

• 训练误差:模型在训练数据上的误差
• 泛化误差:模型在新数据上的误差（重要）
• 例子：根据摸考成绩来预测未来考试分数考试
  • 在过去的考试中表现很好(训练误差)不代表未来考试一定会好(泛化误差)
  • 学生 A 通过背书在摸考中拿到很好成绩
  • 学生 B 知道答案后面的原因

验证数据集和测试数据集

• 验证数据集：一个用来评估模型好坏的数据集
  • 例如拿出 50% 的训练数据
  • 不要跟训练数据混在一起(常犯错误)：使用google搜索的图片进行验证（但大部分图片都来自于ImageNet数据集）
• 测试数据集：只用一次的数据集（不能使用该数据集调整超参数）。例如：
  • 未来的考试
  • 出价的房子的实际成交价
  • 用在 Kaggle 私有排行榜中的数据集
  • 不能将测试数据集当验证数据集使用

k-折交叉验证

• 在没有足够多数据时使用（常态）
• 算法：
  • 将训练数据分割成k块
  • for i = 1,…, k
    • 使用第i块作为验证数据集，其余的作为训练数据集
  • 报告k个验证集误差的平均
• 常用：k = 5 或 10

总结

• 训练数据集:训练模型参数
• 验证数据集:选择模型超参数
• 非大数据集上通常使用k-折交叉验证
• 训练、验证、测试集的关系：
  • 训练数据集是模型学习的源泉，用于确定模型的参数。
  • 验证数据集是训练过程中的 “质检员”，用于调整模型的超参数，提高模型的泛化能力。
  • 测试数据集是模型的 “最终考官”，用于对模型的最终性能进行客观评估。
    三者相互协作，共同确保模型具有良好的性能和泛化能力。在实际应用中，通常将原始数据集按照一定的比例（如 70% 训练集、15% 验证集、15% 测试集）进行划分。

过拟合和欠拟合

模型容量：模型复杂度

简单的数据使用了一个特别复杂的模型 — 过拟合
复杂的数据使用了一个简单的模型 — 欠拟合（异或函数）

模型容量

• 拟合各种函数的能力
• 低容量的模型难以拟合训练数据
• 高容量的模型可以记住所有的训练数据

模型容量的影响

模型过于 关注细节，当一个新数据出现时，被一些无关的细节困扰住了。
泛化误差和训练误差之间的差距通常用来衡量 拟合程度。
深度学习中的核心：首先我们的模型容量得够，然后再通过一些手段来控制模型容量，使得最后的泛化误差减低（看到一个有意思的评论：提醒我们要学足够多的东西，在选择使用哪一些，而不是学了一点就开始抱怨读书无用，是一样的道理）

估计模型容量

• 难以在不通过的种类算法之间比较
  • 比如 树模型 和 神经网络
• 给定一个模型种类，将有两个主要因素
  • 参数的个数
  • 参数值的选择范围
    
    其中，假设有d个数据，线性模型有d+1个学习的参数；那么加一层隐藏层，里面有m个节点，每个节点包含d个w参数和一个bias参数，所以是（d+1）m；输出层有k（最后分类的类别数）个预测的y_hat，每个y_hat包含m个参数（由上一层的节点数决定）和一个bais，所以是（m+1）k；

VC 维（理论上的指标）

• 对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号（label），都存在一个模型来对它进行完美分类。

  • 模型复杂度可以通过VC维来量化，就是这个模型所完美分类的一个数据集的最大的大小。

• 例子：线性分类器的VC维

  • 2维输入的感知机，VC维=3
    • 能够分类任何三个点，但不是4个（xor）
  • 支持N维输入的感知机的VC维是N+1
  • 一些多层感知机的VC维：O（Nlog2N）

• VC维的用处：

  • 提供为什么一个模型好的理论依据
    • 可以衡量训练误差和泛化误差之间的间隔
  • 深度学习少用
    • 衡量不是很准确
    • 计算深度模型的VC维很困难

数据复杂度

• 多个重要因素
  • 样本个数
  • 每个样本的元素个数
  • 时间、空间结构
  • 多样性

总结

• 模型容量需要匹配数据复杂度，否则可能导致欠拟合和过拟合
• 统计机器学习提供数学工具来衡量模型复杂度
• 实际中一般靠观察训练误差和验证误差

代码部分

# 模型选择、欠拟合和过拟合import math
import numpy as np
import torch
from torch import nn
from d2l import torch as d2l使用以下三界多项式来生产训练和测试数据的标签：
![image.png](attachment:image.png)max_degree = 20 # 多项式的最大阶数
n_train, n_test = 100, 100 # 训练集和测试集的大小
true_w = np.zeros(max_degree) # 分配大量的空间：长度为 max_degree（即 20）的零向量
true_w[0: 4] = np.array([5, 1.2, -3.4, 5.6]) # 前 4 个权重分别设置为 5、1.2、-3.4 和 5.6，其余权重保持为 0features = np.random.normal(size=(n_train + n_test, 1)) # 生成一个形状为 (n_train + n_test, 1)（即 200x1）的数组，数组中的元素服从标准正态分布（均值为 0，标准差为 1）
np.random.shuffle(features) # 对生成的特征数组进行随机打乱
poly_features = np.power(features, np.arange(max_degree).reshape(1, -1))
# np.arange(max_degree).reshape(1, -1)：生成一个形状为 (1, max_degree)（即 1x20）的数组，数组中的元素为从 0 到 19 的整数。
# 对 features 数组中的每个元素分别进行 0 到 19 次幂运算，得到一个形状为 (n_train + n_test, max_degree)（即 200x20）的多项式特征数组 poly_features。
for i in range(max_degree):poly_features[:, i] /= math.gamma(i + 1)# math.gamma(i + 1)：计算 i + 1 的阶乘（对于整数 i）。
labels = np.dot(poly_features, true_w) 
# 计算多项式特征数组 poly_features 与真实权重向量 true_w 的点积，得到没有噪声的标签。
labels += np.random.normal(scale=0.1, size=labels.shape)
# 生成一个与 labels 形状相同的数组，数组中的元素服从均值为 0，标准差为 0.1 的正态分布。# 看一下前两个样本：
# NumPy ndarray转换为tensor
true_w, features, poly_features, labels = [torch.tensor(x, dtype=torch.float32)for x in [true_w, features, poly_features, labels]]features[:2], poly_features[:2, :], labels[:2]# 实现一个函数来评估模型在给定数据集上的损失
def evaluate_loss(net, data_iter, loss):"""评估给定数据集上模型的损失"""metric = d2l.Accumulator(2) #  损失的总和,样本数量for X, y in data_iter:out = net(X)y = y.reshape(out.shape)l = loss(out, y)metric.add(l.sum(), l.numel())return metric[0] / metric[1]# 定义一个训练函数
def train(train_features, test_features, train_labels, test_labels, num_epochs=400):loss = nn.MSELoss(reduction='none')input_shape = train_features.shape[-1]# 不设置偏置net = nn.Sequential(nn.Linear(input_shape, 1,  bias=False))batch_size = min(10, train_labels.shape[0])train_iter = d2l.load_array((train_features, train_labels.reshape(-1, 1)),batch_size)test_iter = d2l.load_array((test_features, test_labels.reshape(-1, 1)),batch_size, is_train=False)trainer = torch.optim.SGD(net.parameters(), lr=0.01)animator = d2l.Animator(xlabel='epoch', ylabel='loss', yscale='log',xlim=[1, num_epochs], ylim=[1e-3, 1e2],legend=['train', 'test'])for epoch in range(num_epochs):d2l.train_epoch_ch3(net, train_iter, loss, trainer)if epoch == 0 or (epoch + 1) % 20 == 0:animator.add(epoch + 1, (evaluate_loss(net, train_iter, loss),evaluate_loss(net, test_iter, loss)))print('weight:', net[0].weight.data.numpy())# 三阶多项式函数拟合（正常）
# 从多项式特征中选择前4个维度，即1,x,x^2/2!,x^3/3!
train(poly_features[:n_train, :4], poly_features[n_train:, :4],labels[:n_train], labels[n_train:])# 线性函数拟合（欠拟合）
train(poly_features[:n_train, :2], poly_features[n_train:, :2],labels[:n_train], labels[n_train:])# 高阶多项式函数拟合(过拟合)
# 尝试使用一个阶数很高的多项式函数进行拟合：在这种情况下，没有足够的数据用于学到高阶系数应该具有接近于零的值
# 从多项式特征中选取所有维度
train(poly_features[:n_train, :], poly_features[n_train:, :],labels[:n_train], labels[n_train:], num_epochs=1500)
#  结果表明，复杂模型对数据造成了过拟合。

总结

• 欠拟合是指模型无法继续减少训练误差。过拟合是指训练误差远小于验证误差。
• 由于不能基于训练误差来估计泛化误差，因此简单地最小化训练误差并不一定意味着泛化误差的减小。机器学习模型需要注意防止过拟合，即防止泛化误差过大。
• 验证集可以用于模型选择，但不能过于随意地使用它。
• 我们应该选择一个复杂度适当的模型，避免使用数量不足的训练样本。