NoamOpt 类实现了一个优化器的封装器，它用于动态调整学习率，并且特别常用于 Transformer 模型的训练中。这个类主要实现了 Noam 学习率调度（Noam learning rate schedule），它的学习率会随着训练步数的增加而变化，结合 warmup 步骤来达到稳定和高效的训练效果。
NoamOpt类源码
class NoamOpt:"Optim wrapper that implements rate."def __init__(self, model_size, factor, warmup, optimizer, step):self.optimizer = optimizerself._step = stepself.warmup = warmupself.factor = factorself.model_size = model_sizeself._rate = 0@propertydef param_groups(self):"""Return param_groups."""return self.optimizer.param_groupsdef step(self):"Update parameters and rate"self._step += 1rate = self.rate()for p in self.optimizer.param_groups:p['lr'] = rateself._rate &
