scratch2modern
第一章 · 训练

1.12 全量训练

这一节全量训练:放大到 6 层、531 万参数,在完整的 TinyStories 上训练
结果Muon 加 weight decay 0.1 后 val bpb 0.589;不加的话训练到一半变差

这是第一章的收尾实验:用第一章选定的全部配置,把模型放大一些,在完整的 TinyStories 训练集上训练,看能训练到什么程度。模型结构这一节不展开分析,那是第二章的内容。

衰减段 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2 0k 16k 32k 48k 64k 步数;纵轴:验证集 bpb(开头 11.7,超出图外) 不加 weight decay0.836 weight decay 0.10.589 最低 0.715

两次训练只差一处:给 Muon 加不加 weight decay。不加的那次,训练到一半开始变差。

配置

和 1.11 现在的配置相比,改了这些:

  • 模型:6 层,宽度 256,4 个头,每个头的维度 64,和主流模型一样。参数 531 万,是 1.11 的 38 倍(Transformer 部分 478 万,embedding 和输出层 52 万)。
  • 优化器:Transformer 内部的矩阵用 Muon,embedding 和输出层用 Adam。1.11 里 Muon 更好但慢 3 倍,慢是因为矩阵太小;现在矩阵大了,额外的开销就不显眼了。
  • 学习率调度:前 1% warmup,WSD,最后 20% 线性降到 0。模型变深以后,开头更容易不稳定,所以加上 warmup。
  • batch 和步数:每步 64 × 256 个 token,训练 65536 步。模型大了,每步要更多的数据才能把 GPU 填满。
  • 数据:完整的训练集,212 万个故事,6.2 亿个 token。一共看了 10.7 亿个 token,训练集约过 1.7 遍,是 1.11 的 60 多倍。

上下文 256、bpe1024、初始化 N(0, 0.08²)、bf16 混合精度、编译 + CUDA Graph 都不变。规模参照的是 llama2.c 在 TinyStories 上训练的 15M 模型(6 层,宽度 288,上下文 256)。它的词表是 32000,我们是 1024,所以参数少很多。

扫学习率

学习率同时缩放两个优化器:Muon 用 lr,Adam 用 lr / 2。每个学习率先训练 2048 步,其余和正式训练相同。lr 0.005、0.01、0.02 的 val bpb 分别是 0.761、0.739、0.753,0.04 和 0.08 发散。正式训练用 0.01。

第一次:不加 weight decay

训练 800 秒,峰值显存 2.2 GB。val bpb 在第 11264 步降到最低的 0.715,比 1.11 的 1.18 低了 0.46:模型大了 38 倍,数据多了 60 多倍。

但学习率恒定的阶段走过第 1.2 万步以后,loss 一路上升,到第 5.2 万步回到 0.99。最后 20% 的衰减只救回来一部分,最终 0.836,还不如扫学习率时只训练 2048 步的 0.739。

生成的故事已经相当通顺,语法基本正确,但情节还不太连贯,树和医院混在了一起:

Once upon a time there was a little girl named Lily. One day, she went for a walk with her mommy. They saw a big tree with a needle. Lily wanted to climb it, but her mommy said no.
Lily's mommy said, "It is too high for me!" Lily said, "No, sweetie. You need to be careful not to climb it. It's too high."
Lily and her mommy went to the station to the hospital. They climbed the tree and climbed up the tree. But when she got to the hospital, she saw that it was too heavy.

原因:参数越长越大

训练完把参数读出来看。初始化时所有矩阵的标准差都是 0.08:

0.02 0.05 0.1 0.2 0.5 1 2 第 1 层 第 2 层 第 3 层 第 4 层 第 5 层 第 6 层 纵轴:训练后矩阵的标准差(对数坐标);虚线是初始化的 0.08 不加:q、k 不加:MLP 第一层(虚线) 加 0.1:q、k 加 0.1:MLP 第一层(虚线)

不加 weight decay 时,q、k 越往后越大,最后两层长到了 1.3 以上。加了以后,所有矩阵都稳定在 0.03 到 0.06。

q、k 长得最多,而注意力的 logit 正是它们的点积:

\[\text{logit}_{ij} = \frac{q_i \cdot k_j}{\sqrt{d}}, \qquad q,\,k \text{ 各大 16 倍} \;\Rightarrow\; \text{logit 大约 } 16^2 \approx 250 \text{ 倍}\]

logit 大了 250 倍,softmax 变得非常尖锐,几乎只看一个位置,梯度也跟着变得极端,训练开始不稳定。

为什么参数会一直长?Muon 每一步给出的更新,大小基本是固定的,不随梯度变小而变小,前后各步的更新又不会完全互相抵消。学习率不降下来,参数就一步步累积变大。这正是 1.10 里 weight decay 要管的事:每一步把参数往 0 拉一点。在 1.10 那个 1 层、训练 4 秒的模型上,参数还没长到出问题,weight decay 看起来"没有用"。

第二次:加 weight decay 0.1

只改一处:Muon 加 weight decay 0.1,每一步先把矩阵乘上 \(1-\eta\lambda\):

\[W \leftarrow (1 - \eta\lambda)\,W - \eta\cdot \mathrm{Muon}(\nabla L), \qquad \lambda = 0.1\]
# Transformer 内部的矩阵用 Muon,加 weight decay;embedding、输出层用 Adam,不加
opt_muon = torch.optim.Muon(matrices, lr=lr, weight_decay=0.1)
opt_adam = torch.optim.Adam([wte, wpe, lm_head], lr=lr / 2)

Adam 那部分不加。torch.optim.Adam 的 weight decay 是 L2 的写法,1.10 里会让训练失败。训练 775 秒,峰值显存 2.2 GB。

  • 问题解决了。学习率恒定的阶段,val bpb 一路缓慢下降,再也没有回升。
  • 前期反而慢一点:第 11264 步时 0.745,不加的是 0.715。weight decay 每一步都在把参数往回拉,学得慢一些,和 1.10 里看到的一样。
  • 最后 20% 的衰减带来了一大截:从 0.724 降到 0.589。这就是 1.07 里 WSD 的样子:恒定段积累,衰减段兑现。
  • 最终 0.589,比 1.11 的 1.18 降了一半,也比不加 weight decay 时的最低点低了 0.13。

生成的故事:

Lily and Tom were twins who liked to play with their toys. One day, they found a big box in the living room. It had many buttons and lights and sounds. Lily and Tom wanted to see what was inside the box.
"Let's open it and see," Tom said.
"No, we can't," Lily said. "Mom said we have to wait for her."
"But I don't know. Maybe it is a toy or a book or a toy. Maybe it is a treasure or a toy."
Tom was not sure. He did not want to wait. He wanted to see the box.
"Please, Tom, let's open the box," Lily said.
"No, I don't want to. It is my turn. I want to see what is inside," Tom said.
They both pulled the box and saw a shiny thing. It was a ring.

对话有来有回,人物的动机前后一致,情节也能接上。和 1.11 那个 14 万参数、训练 4 秒的模型相比,已经是完全不同的水平。

最后补充一点:大模型训练是怎么做的?1.11 的对照里提过,Kimi、GLM、DeepSeek 都给 Muon 加了 0.1 的 weight decay。Moonlight 的研究发现的正是我们遇到的问题:Muon 不加 weight decay,参数和激活会越来越大。Kimi K2 还专门加了 QK-Clip,在注意力的 logit 太大时直接把 q、k 的权重缩小,管的也是这件事。1.10 在玩具模型上得出的"weight decay 没有用",换到更深的模型、更长的训练就不成立了。

第一章到这里结束:第一章的配置放大到 531 万参数、10.7 亿个 token,13 分钟训练到 val bpb 0.589。第二章开始改模型的结构。

+深入数据准备;开头的 11.7;训练集和验证集的差距

数据准备。1.05 只存了词表,没存合并规则,所以先用和 1.05 完全相同的数据和步骤重新学一遍合并规则,检查学出来的词表和 1.05 逐个相同,再用 32 个进程并行把训练集编码成 token,约 1 分钟。token 用 int16 存,整份放进显存约 1.2 GB。验证集还是之前那 500 个故事,结果可以和前面各节直接比。

开头的 val bpb 是 11.7。比对 1024 个 token 均匀瞎猜的 3.2 差得多。6 层叠起来以后,初始化 0.08 让输出层一开始就很自信地猜错,和 1.10 里 Kaiming 初始化开头比瞎猜还差是同一回事。几百步之内就恢复了。

训练集和验证集的差距。我们在训练集开头取了和验证集同样多的窗口,用同样的方式评估。两次训练里,训练集窗口的 bpb 都一直比验证集高约 0.12。这不是过拟合:过拟合是训练集比验证集好,而且差距越拉越大;这里是两边取的文本不同,难度本来就不一样,差距从头到尾基本不变。

上一节:1.11 回顾 · 下一节:第二章(写作中)