深度学习调参笔记

就是因为增加了下面这个代码片段，使得训练过程耗时增加了3倍。。。

def set_seed(seed):random.seed(seed)np.random.seed(seed)torch.manual_seed(seed)torch.cuda.manual_seed(seed)torch.cuda.manual_seed_all(seed)cudnn.benchmark = Falsecudnn.deterministic = True# Set the seed
set_seed(42)  # 这里的 42 是一个示例，你可以选择任何整数

注释掉这段代码导致训练时间缩短了2/3的主要原因与cudnn.benchmark和cudnn.deterministic这两个选项有关。

cudnn.benchmark 和 cudnn.deterministic 的作用

1. cudnn.benchmark:

   • 当 cudnn.benchmark 设置为 True 时，CuDNN 会基于每个卷积层的配置（卷积大小、输入尺寸、显存可用性等）选择最快的卷积算法。这会带来初始的额外开销，因为 CuDNN 需要测试不同的算法以选择最快的那个。然而，一旦选定算法，后续的训练会因此而加速。
   • 当 cudnn.benchmark 设置为 False 时，CuDNN 使用一个确定的默认算法，这减少了选择算法的时间，但可能不是最优的卷积计算速度。

2. cudnn.deterministic:

   • 当 cudnn.deterministic 设置为 True 时，会强制 CuDNN 使用确定性的算法（即使这些算法不是最快的），以确保每次运行的结果是可重复的。这对于需要结果复现的实验很重要，但可能会导致性能下降，因为一些非确定性的算法可能会更快。

分析

注释掉这段代码意味着：

• cudnn.benchmark 的值不再被设置为 False，默认值是 True。这使得 CuDNN 可以自由选择最快的卷积算法，虽然这会在初始阶段带来额外的开销，但在长期的训练过程中整体上会加快计算速度。
• cudnn.deterministic 的值不再被设置为 True，默认值是 False。这允许 CuDNN 使用非确定性但更快速的算法，从而提高训练速度。

结论

由于你注释掉了设置种子的代码，导致了cudnn.benchmark和cudnn.deterministic恢复默认值，CuDNN得以使用更快的非确定性算法，进而加快了训练过程。这解释了为什么你的训练时间缩短了2/3。

如果你不需要严格的结果复现，可以保留这种设置以提高训练速度。如果结果复现对于你的实验非常重要，你可能需要在提高速度和保证结果一致性之间做出权衡。

调整超参数是深度学习中提升模型性能和训练效率的重要步骤。以下是一些超参数调整的经验法则和它们之间的相互影响关系：

number_workers设置得更大一些通常可以加速训练。

1. 学习率（Learning Rate）

• 主要影响：学习率是最重要的超参数之一，它决定了每次参数更新的步长。学习率过高会导致训练过程不稳定，甚至不收敛；学习率过低则会导致训练过程缓慢。
• 调整策略：
  • 可以从一个较大的值开始，然后逐渐减小。
  • 学习率调度器（Scheduler）可以帮助动态调整学习率，如学习率逐步衰减（Step Decay）、余弦退火（Cosine Annealing）等。

2. 批量大小（Batch Size）

• 主要影响：批量大小影响模型参数的更新频率和梯度估计的稳定性。较大的批量大小可以提高训练速度，但需要更多的内存。
• 调整策略：
  • 较小的批量大小会导致梯度的噪声较大，但可以在内存有限的情况下使用。
  • 较大的批量大小可以稳定梯度更新，但需要调整学习率（通常需要增加学习率）。

3. 优化器（Optimizer）

• 主要影响：不同的优化器有不同的收敛特性和性能，如SGD、Adam、RMSprop等。
• 调整策略：
  • Adam 优化器常用于初学者，因为它具有自适应学习率，通常能较快收敛。
  • SGD + Momentum 通常在收敛性能和泛化能力上表现较好，但需要更细致的学习率调节。

4. 权重衰减（Weight Decay）

• 主要影响：权重衰减是正则化的一种形式，防止模型过拟合。
• 调整策略：
  • 权重衰减值通常较小，可以从 1e-4 或 1e-5 开始调整。
  • 在使用 Adam 优化器时，注意区分 L2 正则化和权重衰减的区别。

5. 动量（Momentum）

• 主要影响：动量项用于加速 SGD 优化器的收敛，通过累积过去梯度的指数衰减移动平均来加速梯度下降。
• 调整策略：
  • 动量值通常在 0.9 到 0.99 之间，可以帮助避免局部最小值。

6. 学习率调度（Learning Rate Scheduler）

• 主要影响：学习率调度策略可以动态调整学习率，帮助模型更好地收敛。
• 调整策略：
  • 常见的调度策略有 StepLR、ReduceLROnPlateau、CosineAnnealingLR 等。
  • 根据训练过程中的验证集性能调整学习率。

7. 训练轮数（Epochs）

• 主要影响：训练轮数决定了模型看到数据的次数。训练时间过短可能导致欠拟合，过长可能导致过拟合。
• 调整策略：
  • 通过观察验证集的性能和损失变化来决定合适的训练轮数。

超参数之间的相互影响

1. 学习率与批量大小：批量大小和学习率有时需要一起调整。通常情况下，增大批量大小时需要相应地增大学习率。
2. 学习率与优化器：不同的优化器可能对学习率的敏感度不同。例如，Adam 通常对学习率的选择较为宽容，而 SGD 则需要更精确的学习率调节。
3. 学习率与动量：在使用 SGD 时，动量和学习率一起调整可以更好地控制训练过程的收敛性。
4. 权重衰减与学习率：较高的权重衰减可能需要较低的学习率来确保稳定性。

调整超参数的策略

1. 网格搜索（Grid Search）：在超参数空间内进行全面搜索，但计算成本较高。
2. 随机搜索（Random Search）：随机选择超参数进行搜索，通常能获得比网格搜索更好的效果。
3. 贝叶斯优化（Bayesian Optimization）：通过构建代理模型来选择超参数，能够高效找到较优的超参数组合。
4. 超参数调度器（Hyperparameter Schedulers）：如 Hyperband，通过动态调整超参数来提高搜索效率。

通过以上经验法则和策略，你可以更有效地调整超参数，提高模型性能和训练效率。