1.10 训练细节
这一节讲的是一些零碎的点。打开大模型的训练配置,除了优化器、学习率、精度这些大的选择,总还有一组小参数:初始化的标准差、weight decay、梯度裁剪的上限、dropout 的概率。前面我们一直没有关注它们,但它们还是有可能影响训练。这一节就一项一项看:每一项要解决什么问题,在我们的模型上有没有用。
每次只改一项,其余和基线一样。几乎没有一种做法比基线更好。
基线是 1.09 打开全部加速以后的配置:bpe1024,宽度 48,上下文 256,batch 16,4096 步,Adam 学习率 0.01 线性衰减,bf16 混合精度,初始化 N(0, 0.08),不加 weight decay,不裁剪,不加 dropout。每种做法跑 3 个种子。
1初始化训练开始时参数取什么值
参数在训练开始时取什么值。最直接的想法是全部设成 0,但这样训练不起来:同一层的神经元初始值一样,输出一样,梯度一样,更新以后还是一样,永远像同一个神经元。在我们的模型里更糟,embedding 是 0,后面每一层的输入都是 0,所有梯度都是 0,参数一步都动不了。
所以要随机,通常从正态分布 \(N(0, \sigma^2)\) 里取,问题是 \(\sigma\) 取多大。看一个线性层 \(y = Wx\),输出的每个元素是 fan_in 个乘积加起来的(fan_in 就是输入的维度,fan_out 是输出的维度)。如果 \(x\) 的每个元素方差是 1:
\(\sigma\) 太大,每过一层方差就放大一次,层数一多就爆炸;太小,信号和梯度逐层消失。按这个思路推出来的有两种:
- Xavier(Glorot & Bengio 2010):前向要求 \(\sigma^2 = 1/\text{fan\_in}\),反向要求 \(\sigma^2 = 1/\text{fan\_out}\),两者取折中。
- Kaiming(He et al. 2015):只看前向。ReLU 会把一半的值变成 0,方差减半,所以乘 2 补回来。
GPT-1 没有用这两种,而是直接取了一个固定的 0.02,理由是"模型里到处都有 layernorm,简单的 N(0, 0.02) 就够了":归一化每一层都会把信号拉回固定的大小,逐层变大变小就不那么要紧了。之后 GPT-2、nanoGPT、Megatron-LM、OLMo 2 一路沿用 0.02。我们一直用的 0.08 来自 microgpt,也属于固定常数这一类。还有一种做法是把残差分支的输出层初始化为 0,放在最后的"深入"里。
def init_std(name, nout, nin): # nin 就是 fan_in,nout 是 fan_out
if init == 'xavier':
return math.sqrt(2 / (nin + nout))
if init == 'kaiming':
return math.sqrt(2 / nin)
if init == 'zero_proj': # 残差分支的输出层置零,其余 0.02
return 0.0 if name.endswith(('attn_wo', 'mlp_fc2')) else 0.02
return float(init) # 固定常数,如 0.02、0.08
48×48 的矩阵,Xavier 算出来是 0.14,Kaiming 是 0.20。σ 差了 10 倍,所以每种初始化各扫 3 个学习率,在最好的那个上跑 3 个种子。
全零从头到尾停在 3.16,这正是对 1024 个 token 均匀瞎猜的水平。Xavier、0.02、0.08 三者打平,最佳学习率也都是 0.01,σ 相差 7 倍,结果却一样,这就是 GPT-1 那句话的意思。Kaiming 差了 0.011,它的 σ 最大,一开始的 bpb 是 4.85,比瞎猜还差:lm_head 太大,一开始就很自信地猜错,要先花一段时间纠正回来。
2weight decay每步把参数往 0 拉一点
每一步把参数往 0 拉一点,防止参数无限变大。参数越大,模型越容易记住训练数据里的细节和噪声;在大模型的长时间训练里,参数还可能大到超出 bf16 能精确表示的范围。最经典的做法是 L2 正则,在 loss 上加一项参数的平方和:
梯度里多出一项 \(\lambda\theta\)。对 SGD 来说,这等价于每步把参数乘以 \(1-\eta\lambda\),所以叫权重衰减。但在 Adam 里出了问题,\(\lambda\theta\) 加进梯度以后,会和梯度一起被 \(\sqrt{\hat v}\) 除掉:
梯度大的参数,\(\sqrt{\hat v}\) 大,被拉得反而少;梯度小的参数,被拉得多。AdamW(Loshchilov & Hutter 2019)的修正是把它从梯度里拿出来,单独做:
\(\lambda = 0.1\) 是大模型的主流取值,GPT-3、LLaMA、DeepSeek-V3 都是 AdamW 0.1。OLMo 2 还把 embedding 排除在外:embedding 被拉得太小,前几层的梯度就会变大,训练不稳定。
torch.optim.Adam(params, lr=0.01, weight_decay=0.1) # Adam 的 weight_decay 是 L2:加进梯度
torch.optim.AdamW(params, lr=0.01, weight_decay=0.1) # AdamW:和梯度分开,单独做
# embedding 不加 weight decay:分成两组参数
groups = [{'params': [wte, wpe], 'weight_decay': 0.0},
{'params': 其余参数, 'weight_decay': 0.1}]
结果:L2 0.1 用在 Adam 上,完全训练失败,bpb 2.42。算一下就明白:参数大约 0.08,L2 往梯度里加的是 0.008;真正的梯度平摊到 13.8 万个参数上,每个只有约 0.001。L2 那一项比真梯度大好几倍,Adam 再把它归一化,变成每一步都以满学习率把参数往 0 拉。这正是 AdamW 要解决的问题被放大到了极致。AdamW 两种做法都比不加略差(0.006、0.008),原因放到后面"让模型过拟合"里说。
3梯度裁剪梯度太大时整体缩短
偶尔会有某一步的梯度特别大,比如遇到一个不寻常的 batch。按这样的梯度走一步,参数被推得很远,loss 突然飙升,甚至直接发散。梯度裁剪(Pascanu et al. 2013)把所有参数的梯度拼成一个长向量,算它的总长度,超过上限 \(c\) 时整体按比例缩小:
方向不变,只是步子变小。另一种逐个值截断的做法会改变各分量之间的比例,也就改变了方向,这里不测。\(c = 1.0\) 几乎是所有大模型的统一选择:GPT-3、LLaMA、PaLM、DeepSeek-V3、OLMo 2。
norm = torch.nn.utils.clip_grad_norm_(params, 1.0) # 返回裁剪前的总长度
我们在学习率 0.01 和 0.04 下各比一次。1.07 里学习率 0.04 会中途发散,看裁剪能不能救回来。不裁剪时,梯度的总长度是这样的:
学习率 0.01 时,梯度的总长度平时只有 0.3 到 0.6,碰不到 1.0,只在训练开头触发过一次,裁不裁结果一样(1.1751 对 1.1772)。学习率 0.04 时,开头的梯度能冲到 3 到 6。不裁剪时 3 个种子全部发散,2 个在前 128 步,图上这一个撑到了第 3800 步左右;裁剪救回了 2 个,但结果是 1.222,远不如学习率 0.01,还有 1 个照样发散。所以裁剪是防偶尔尖峰的保险,不能让一个本来就太大的学习率变得好用。
4dropout训练时随机丢掉一部分
训练时以概率 \(p\) 随机把一部分激活置成 0,剩下的放大,保持期望不变;评估时不丢:
每一步都像在训练一个随机缩小的子网络,模型不能依赖任何一个特定的神经元,用来防止死记训练数据,也就是过拟合:在训练集上很好,在新数据上变差。GPT-1、GPT-2 在三个地方用 0.1 的 dropout,我们照这个位置加:
x = F.dropout(tok_emb + pos_emb, p_drop) # embedding 之后
x_attn = F.scaled_dot_product_attention(q, k, v, is_causal=True, dropout_p=p_drop) # 注意力权重上
x = F.dropout(linear(x_attn, state_dict['attn_wo']), p_drop) # 子层的输出上
我们的数据过了约 2.7 遍,Xue et al. (2023) 发现数据要重复看很多遍时,dropout 有效,而且可以只在训练后期打开,所以也测这种做法。为了看有没有过拟合,我们在训练集上取了和验证集同样多的固定窗口,用同样的方式评估:
dropout 差了 0.12,后半段才打开的那一组,打开那一刻立刻跳高 0.08,之后再也回不来。原因在虚线上:不加 dropout 时,训练集和验证集从头到尾几乎重合,模型根本没有过拟合。13.8 万个参数记不住 630 万个 token,模型还在学不够的阶段,dropout 只会削弱它本来就不够的容量。
让模型过拟合以后
weight decay 和 dropout 都没有用,原因是模型根本没有过拟合,它们要解决的问题不存在。为了看它们真正起作用的样子,我们人为制造过拟合:训练集只用前 1/20(约 31 万个 token),验证集不变,其余和基线完全相同。4096 步下来,训练集要过约 53 遍。
过拟合出现了:不加任何东西时,训练集 1.069,验证集 1.334,差了 0.27;全量数据时两者几乎一样。
weight decay 起作用了,验证集好 0.029,3 个种子的范围完全不重叠。它让训练集差了 0.008,换来验证集好 0.029,这是正则该有的样子:少记一点训练集,多泛化一点。同样的 AdamW 0.1,没有过拟合时差 0.006,有过拟合时好 0.029,有没有用,取决于有没有过拟合。它的效果是累积出来的:
前 2000 步加了 weight decay 还略差,之后才拉开。前期模型还在学通用的规律,没什么可防;后期开始死记了,把参数往 0 拉才有东西可以对抗。
dropout 缩小了差距,从 0.27 缩到 0.13,验证集却更差了:缩小的方式是训练集一起变差了 0.18。我们的模型宽度只有 48,每次丢掉 10%,损失的不只是死记,还有学会。梯度裁剪和过拟合无关,结果和不加一样,它管的是训练稳不稳,不管泛化。
最大的变量其实是数据量:1/20 数据下最好的结果是 1.305,全量数据什么都不加是 1.175。正则能补回来的,远比不上多给数据。
最后补充一点:大模型训练是怎么做的?初始化用 0.02(GPT 系列、OLMo 2),weight decay 用 AdamW 0.1(GPT-3、LLaMA、DeepSeek-V3),梯度裁到 1.0(几乎所有大模型),预训练不用 dropout(LLaMA、PaLM)。四项里只有 dropout 和我们完全一致,原因也相同:大模型的数据足够多,一般只过一遍,不存在死记的问题。
其他三项不一样,原因都是我们的模型没有遇到它们要解决的问题。这四项可以分成两类:weight decay、dropout 是正则类,防过拟合;初始化的细节、梯度裁剪是稳定类,防训练不稳定。我们的模型离过拟合还很远,又只有 1 层、有 rmsnorm、学习率不大,本来就稳定。大模型里 weight decay 主要也不是为了防过拟合,而是控制参数不要越长越大;梯度裁剪则是因为 loss 突然飙升很常见,PaLM 还会在飙升时退回之前的 checkpoint、跳过那一段数据。
+深入残差分支的输出层;dropout 的两个检查
残差分支的输出层。Transformer 每一层的输出是加回主干上的(x = x + attn(x)),层数越多,加的次数越多,主干上的值越积越大。所以有一类做法单独处理残差分支的输出层(我们的 attn_wo 和 mlp_fc2):GPT-2 把它的 σ 再乘 \(1/\sqrt{2L}\),\(L\) 是层数;modded-nanogpt 直接置零,一开始每一层什么都不加,训练中再学出各自的贡献,同样的思路更早见于 Fixup 和 ReZero。我们测了 0.02 加输出层置零,1.1798,比单纯的 0.02 略差 0.004,和种子的波动差不多。我们只有 1 层,越积越大的问题还不存在,等第二章模型变深再看。
dropout 的两个检查。dropout 差这么多,先怀疑是不是写错了。去掉 CUDA Graph、完全不编译,各跑一次 dropout 0.1,结果都一样(1.29 到 1.31);dropout 降到 0.02,也还差 0.05。