scratch2modern

scratch2modern

从一个 200 行的 GPT 出发,一步步搭出现代大模型。每一步都有实验。

起点是 Karpathy 的 microgpt。它只有 200 行纯 Python,不依赖任何库,从读数据、自动求导、模型,到训练和推理,一个完整的 GPT 都在里面。但它也只是最简单的版本:一层,很小,在 CPU 上慢慢跑。

从它到现代大模型,中间隔着大量训练技巧、结构改动和后训练算法,而且每年都有新的冒出来。这么多东西,哪些是真的有用?我们把它们拆开,一次只加一样,再拿去和你直觉上觉得对的做法、和曾经或现在流行的做法放在一起比,用实验看看到底差在哪。

所有实验都在仓库里,拉下来就能跑。你也可以换成自己的数据,或者去验证我们没覆盖到的细节。

所有实验都在单卡上完成,模型始终是 toy 规模。有些结论在这个规模下会和原始报告不一致,遇到的时候我们会单独说明。

1.0 1.5 2.0 2.5 3s 10s 30s 100s 训练时间(对数坐标) 验证集 bpb ① 起点 ② 上 GPU ③ 加大 batch ④ BPE + 加宽 ⑤ bf16 混合精度 ⑥ 编译 + CUDA Graph
第一章要走的路。同一个 1 层 GPT,每一步改一样东西:训练时间从 93.5 秒降到 4.0 秒,验证集 bpb(越低越好)从 2.52 降到 1.18。
章节
第一章

训练

模型不动,只改怎么训练:PyTorch、batch、GPU、tokenizer、优化器、学习率调度、数值精度、工程加速、训练细节。

已写到 1.12
第二章

模型结构

模型变深、变大以后,结构要怎么改。

规划中
第三章

后训练

让只会续写的模型听懂指令。

规划中
Infra

显存、通信与并行

一张卡放不下、算不完的时候怎么办。

规划中
写在前面

坦白地讲,我没有到达教学别人的水平,我也只是初学者。看到网络上纷杂的信息,每次都感觉很嗨,但是很快就忘记了。跟人聊起来,貌似能说一些名词,但实际上我什么细节也说不出来。这种像隔着一层雾一样看待模型的感觉,让我觉得很不舒服。我也曾经从各种教程学习,但是我总觉得犹如隔靴搔痒,教程里也有让我觉得困惑的地方,我始终感觉不能理解,或者很快就忘记。

直到看到 microgpt,从头到尾清晰的代码,让我清晰地看到最原始的 LLM 是怎么被构建出来的。我觉得深受启发,也想做一个足够清晰的项目。

之前的教程我觉得不够清晰的原因,是我总有迷迷糊糊的概念,我没有清晰地搞懂我就推进不了,或者推进了我也觉得心里有东西悬着。可能它们都默认读者有较高的前置知识,或者已经忘记了小白是怎么想的,所以我读着会难受。于是我打算从小白的视角出发,做一个足够详细、有实验支撑的项目,from scratch to modern。

我写不出那么优雅的代码,并且可能在构建 modern model 的时候,一些代码也难以写得很优美。不过我尽可能从我自己就能够清晰理解的角度,把整个 modern model 讲清楚,不要隔靴搔痒。