scratch2modern
第一章 · 训练

1.07 学习率调度

这一节学习率调度:衰减的形状和 warmup
结果衰减到 0 比不衰减好 0.07,形状影响不大;warmup 几乎没用

上一节的优化器,决定的是每一步往哪走,以及各个参数之间步长谁大谁小。可整体的步长在训练过程中该怎么变,我们一直用的是线性衰减:从峰值开始,一步步降到 0。为什么要降?降成什么形状?开头要不要先慢慢升上去?这一节就来比一比。

WSD 衰减段 1.15 1.25 1.35 1.45 0 1024 2048 3072 4096 步数 constant 1.257 WSD 1.171

学习率 0.01,不衰减(constant)和 WSD 的验证集 bpb。前 80% 两者完全是同一条线;进入衰减段以后,WSD 一下子掉了下去。最后这 1024 步,constant 只降了 0.014,WSD 降了 0.10。

第 \(t\) 步的学习率,是峰值学习率 \(\eta_{\max}\) 乘上一个 0 到 1 之间的比例。这个比例由两部分相乘:

\[\eta_t = \eta_{\max} \cdot \underbrace{\min\!\Big(1,\ \frac{t+1}{W}\Big)}_{\text{warmup}} \cdot \underbrace{s(t)}_{\text{衰减的形状}}\]

前一部分是 warmup:开头 \(W\) 步,从接近 0 线性升到 1。后一部分是衰减的形状 \(s(t)\),\(T\) 是总步数。代码里就是一行:

def lr_mult(step):  # 第 step 步的学习率 = 峰值 × lr_mult(step)
    return min(1, (step + 1) / warmup if warmup else 1) * schedule(step, num_steps)

先说为什么要衰减。学习率大和小各有各的问题:

  1. 大学习率走得快,但停不下来。梯度是在一个 batch 上算的,带着噪声。就算已经到了谷底附近,每一步还是会被噪声踢一下,步子越大,被踢得越远,参数就在谷底附近一片区域里来回跳,loss 降不到底。
  2. 小学习率停得准,但走得慢。离谷底还远的时候,就浪费了很多步。

所以只用一个固定的学习率,只能在两者之间折中。衰减的想法很直接:先用大学习率快速前进,再慢慢减小,让参数停稳。

开头那张图里"一下子掉下去",可以用河谷来理解(Wen et al. 2024)。loss 的地形像一条河谷:顺着河道的方向坡度很缓,一直往下游走,loss 会持续降低,这对应模型真正在学东西;两岸的山坡则非常陡。大学习率下,参数在两岸之间来回跳,同时被梯度推着往下游走,这时看到的 loss,主要是"跳在山坡上有多高",掩盖了沿河道走了多远。学习率一减小,跳动的幅度变小,参数落到河底,之前沿河道走的路才在 loss 上显现出来。所以衰减段多降的那 0.085,并不是这 1024 步里新学到的,而是把前面积累的进展兑现了出来。

衰减的形状有很多种。这一节比较 4 种,constant 是不衰减的对照,其余 3 种都衰减到 0:

  1. constant:\(s(t) = 1\),一直不变。
  2. linear:线性降到 0,1.01 到 1.06 一直用的就是它。
    \[s(t) = 1 - \frac{t}{T}\]
  3. cosine:沿余弦曲线降到 0,开头和结尾降得慢,中间降得快。它是大模型预训练用得最多的形状。
    \[s(t) = \frac{1}{2}\Big(1 + \cos\frac{\pi t}{T}\Big)\]
  4. WSD(warmup–stable–decay):大部分时间保持峰值,只在最后 20% 线性降到 0。用河谷的话说,stable 段一直沿河道前进,decay 段再一次性落到河底。
    \[s(t) = \begin{cases} 1 & t < 0.8\,T \\[4pt] \dfrac{T - t}{0.2\,T} & t \ge 0.8\,T \end{cases}\]
constant 峰值0 0T linear 0T cosine 0T WSD 0T

每种形状都只有一两行代码(完整文件在 GitHub):

def constant(step, num_steps):
    return 1.0

def linear(step, num_steps):
    return 1 - step / num_steps

def cosine(step, num_steps):
    return 0.5 * (1 + math.cos(math.pi * step / num_steps))

def wsd(step, num_steps, decay_frac=0.2):
    decay_start = (1 - decay_frac) * num_steps
    return 1.0 if step < decay_start else (num_steps - step) / (num_steps - decay_start)

优化器这一节固定用 Adam。1.06 里 Muon 更好,但大模型的调度经验大多来自 AdamW,用 Adam 更好对照。其余设置和 1.06 一样:bpe1024,宽度 48,上下文 256,batch 16,4096 步。实验分三组:衰减的形状、warmup,以及 WSD 的一个特别的好处。

运行结果

第一组:衰减的形状。不加 warmup,每种形状单独扫峰值学习率,在最好的点上再换 2 个种子。

constant 1.15 1.20 1.25 1.30 1.35 0.0025 0.01 0.04 linear 0.0025 0.01 0.04 cosine 0.0025 0.01 0.04 WSD 0.0025 0.01 0.04 横轴:峰值学习率(对数坐标);纵轴:验证集 bpb;大点是最佳学习率;× 是发散

只要衰减到 0,形状的影响不大。linear、cosine、WSD 的最佳学习率都是 0.01,3 个种子的均值是 1.176、1.178、1.174,范围互相重叠,算打平。不衰减明显更差:constant 是 1.242,差了 0.07。而且它最好的学习率只有 0.005,是其他的一半,因为没有衰减,只能靠小学习率来压低噪声。

还有一个细节。学习率 0.04 时,constant 和 WSD 在同一步(第 1315 步)发散,linear 和 cosine 却都跑完了。WSD 那时还在 stable 段,和 constant 完全一样;而 linear 和 cosine 的学习率到第 1315 步已经降到了约 0.027 和 0.030。也就是说,0.04 在开头是稳定的,训练了上千步以后才变得不稳定。

第二组:warmup。衰减形状固定用 WSD,warmup 取 0、128、512 步,每种都把峰值学习率一直扫到发散。

结果是 warmup 几乎没有作用。最好的结果是 warmup 512 步的 1.169,不加是 1.171,只好了 0.002,比换种子的波动还小。它也没有让更大的学习率变得可用:加了 warmup 以后,峰值 0.08 和 0.16 不再在开头就发散了,可学习率一升到 0.063 到 0.073,还是会发散,和 warmup 是 128 步还是 512 步无关。不加 warmup 时,0.04 在开头稳定,0.08 在第 11 步就发散,所以开头能承受的学习率一直在 0.04 到 0.08 之间,warmup 没有把它推高。

而 0.04 不管加不加 warmup,都在训练中途发散(第 791 到 1457 步),那时 warmup 早就结束了。限制峰值学习率的,是训练中途的不稳定,warmup 管不到这一段。一个可能的解释是 edge of stability(Cohen et al. 2021):训练过程中 loss 的地形会慢慢变陡,陡到当前的学习率承受不了,训练就崩了。linear 和 cosine 在 0.04 能跑完,正是因为它们的学习率在变陡之前就已经降下来了。我们没有实际测量地形有多陡,这只是推测。为什么一般认为需要 warmup,放在最后的"深入"里。

第三组:WSD 随时可停。cosine 和 linear 有一个实际的麻烦:每一步的学习率都取决于总步数 \(T\),训练开始前就得定下训练多久,想要不同长度的模型,每个都得从头训练。WSD 没有这个问题。它的 stable 段和 \(T\) 无关,所有长度共用同一条 constant 主干,想要哪个长度的模型,就从主干对应的位置分出一个分支,单独跑一小段衰减。我们训练了 1024、2048、4096 步三个长度,峰值都用 0.01,和从头训练的 cosine 对比:

1.15 1.25 1.35 1.45 0 1024 2048 3072 4096 步数 constant 主干 WSD(1024 / 2048 / 4096 步) cosine(同样三个长度)

WSD 的三个分支,在衰减之前和主干完全重合,到各自最后的 20% 才分开、迅速下降。每个长度上,WSD 都比 cosine 好:1024 步是 1.285 对 1.314,2048 步是 1.216 对 1.228,4096 步是 1.171 对 1.175,训练越短,优势越大。计算量也更少:拿到这三个模型,WSD 一共约 4700 步(主干 4096 步,加上两个短分支各自的衰减段),cosine 要 1024 + 2048 + 4096 = 7168 步。

还要注意一点:训练过程中,cosine 的曲线一直更低,但最后是 WSD 更低。比较不同的调度时,只能看最后的结果,中途的 loss 没有意义。

WSD 训练 4096 步生成的故事:

Once upon a time, there was a little girl named Lily. She had a toy castle. She loved to play with her friends. One day, Lily saw a big tree. She was very happy and wanted to help the catch.

最后补充一点:大模型训练是怎么做的?一定要衰减,只要最后降到 0,形状影响不大,WSD 能追平 cosine(Hägele et al. 2024)。WSD 不用事先定下训练多久,越来越多的大模型采用了这个思路:MiniCPM、SmolLM3 直接用 WSD;DeepSeek-V3 前 10T token 学习率不变,之后才开始衰减。衰减段的 loss 降得特别快,大模型正好利用这一点,在这一段换上最高质量的数据(MiniCPM、Llama 3、OLMo 2)。

不一样的地方是 warmup。大模型几乎都加几千步:LLaMA 和 DeepSeek-V3 是 2000 步,Llama 3 405B 是 8000 步。它们的 batch 和学习率都更大,一次训练的成本极高,发散一次的损失远大于几千步 warmup 的代价,而几千步只占一百多万步的不到 1%。所以在大模型里,warmup 更像是一份便宜的保险。另外,GPT-3 和 LLaMA 的学习率只降到峰值的 10%,后来的研究发现降到 0 更好(Bergsma et al. 2025),Llama 3 和 OLMo 2 最后也都降到了 0。

+深入为什么一般认为需要 warmup

warmup 最早用在两个地方:Goyal et al. (2017) 用大 batch 训练 ResNet,以及原始的 Transformer。之后几乎成了标配。为什么训练一开始不能直接用峰值学习率,主要有三种解释:

  1. Adam 一开始对梯度大小的估计不可靠。Adam 用 \(\sqrt{\hat v}\) 来归一化步长,可训练刚开始时 \(v\) 只见过几个梯度。bias correction 修正了它的均值,但修正不了它的波动,步长也就忽大忽小。RAdam(Liu et al. 2019)认为 warmup 的作用就是绕开这一段,等 \(v\) 估计准了再用大学习率。
  2. Post-LN 结构在初始化时梯度很大。原始的 Transformer 把 LayerNorm 放在残差相加之后,叫 Post-LN。Xiong et al. (2020) 证明,这种结构在初始化时,靠近输出的参数梯度很大,必须用 warmup。把 norm 挪到每个子层之前(Pre-LN),梯度一开始就比较规整,可以不用 warmup。
  3. warmup 让参数先走到更平坦的地方。Kalra & Barkeshli (2024) 发现,warmup 期间 loss 地形的陡峭程度会降下来,之后就能承受更大的学习率。按这个解释,warmup 的好处是让更大的峰值学习率变得可用。

我们的模型是 Pre-LN(每个子层前先做 rmsnorm),优化器是带 bias correction 的 Adam,前两个原因在这里本来就不存在。第三个解释说 warmup 能让更大的学习率可用,我们的实验里也没看到:不管 warmup 多长,学习率一升到 0.063 到 0.073 就发散。