1.04 GPU
上一节在 CPU 上,TinyStories 的 batch 越大反而越慢。就算把内存分配的问题解决掉,CPU 每个 token 也要约 22 微秒,它是真的算不过来了。要算得更快,就得换一种硬件:GPU。
TinyStories 上每秒训练的 token 数。batch 1 时,GPU 只比 CPU 快 1.8 倍;batch 64 时,快了 82 倍。
GPU 本来是为画图设计的:屏幕上几百万个像素,每个像素的算法都一样,只是数据不同。所以它的思路和 CPU 正好相反。CPU 只有几十个核,每个核都很强,擅长一件接一件地做复杂的事;GPU 有上万个简单的核,擅长同时对一大块数据做同样的运算。矩阵乘法、逐元素运算,正好都是这种活。我们用的是一张 RTX 5880 Ada,14080 个核,48 GB 显存。
用 GPU 有两个代价。一是数据要先从内存搬到 GPU 自己的显存上。二是 GPU 不会自己决定下一步算什么,要由 CPU 一个一个地把运算发过去,每个运算在 GPU 上叫一个 kernel,每发一个都有固定的启动开销,在这张卡上约 5 微秒。
代码上的改动很少,就是告诉 PyTorch 把东西放在哪里:
device = 'cuda:0'
# 参数和 mask 一开始就建在 GPU 上,之后一直不动
matrix = lambda nout, nin, std=0.08: torch.tensor(
[[random.gauss(0, std) for _ in range(nin)] for _ in range(nout)],
device=device, requires_grad=True)
causal_mask = torch.tril(torch.ones(block_size, block_size, dtype=torch.bool, device=device))
def get_batch(data, batch_size):
ix = torch.randint(len(data) - block_size, (batch_size,))
x = torch.stack([data[i:i + block_size] for i in ix])
y = torch.stack([data[i + 1:i + block_size + 1] for i in ix])
return x.to(device), y.to(device) # 每一步在 CPU 上抽好,再拷到 GPU
参数和 mask 一开始就建在 GPU 上,之后一直待在显存里。数据每一步还是在 CPU 上抽,再拷过去,所以和 1.03 用的数据完全相同。计算也仍然用 float64。这张卡的 float64 速度只有 float32 的 1/64,不过下面会看到,在我们这个模型上,瓶颈其实不在算力上。
还有一个容易踩的坑:计时。GPU 是异步执行的,Python 把 kernel 发出去以后马上就返回了,并不等它算完。所以停表之前,必须先等 GPU 算完这一步。.item() 要把数从 GPU 拿回来,会自动等,把它挪到停表之前就行:
loss = loss_fn(x, y)
loss.backward()
... # Adam 更新
train_time += time.perf_counter() - t0
train_losses.append(loss.item())loss = loss_fn(x, y)
loss.backward()
... # Adam 更新
train_losses.append(loss.item()) # .item() 要等 GPU 把这一步算完
train_time += time.perf_counter() - t0我们一开始就踩了这个坑,batch 64 的速度被高估了近 3 倍:算出来每秒 269 万个 token,实际只有 95 万。
运行结果
四个 batch 的 loss 和 1.03 完全一致,精确到小数点后 4 位,GPU 只改变了速度。
batch 越大,GPU 快得越多。每一步大约要发 280 个 kernel。batch 1 时,每步 3.2 毫秒,GPU 真正在算的只有 1.3 毫秒,其余时间都在等 CPU 一个接一个地发 kernel;batch 加到 16,每步也才 5.5 毫秒,同样的时间算了 16 倍的数据。CPU 正好相反,它没有多少启动开销可以分摊,batch 再大也没用。
那 batch 一直加大会怎样?吞吐分成三段。先是线性上涨:batch 很小时,每步耗时几乎不变,GPU 在等 CPU,batch 加大几乎是免费的。然后在 batch 32 左右拐平,从这里开始,GPU 算的时间超过了 CPU 发指令的时间。最后是平台:每步耗时和 batch 成正比,吞吐停在每秒约 110 万个 token,一直到显存放不下都不再变。
过了拐点,瓶颈变成了显存带宽:batch 翻倍,要在显存和计算单元之间搬的数据也翻倍,时间就跟着翻倍。
吞吐最高,也不等于训练效果最好。在 GPU 上,batch 64 只用 4.4 秒就训练完了,但更新次数少,loss 停在 2.27;batch 4 用了 15 秒,loss 到了 1.79。对这个模型来说,batch 32 已经拿到了几乎全部的吞吐,再加大只会让每步更慢、更新次数更少。
+深入为什么最快也只用到了 GPU 峰值的 7%
衡量"用满了硬件没有",常用的指标是 MFU(Model FLOPs Utilization,模型算力利用率):实际每秒做的运算次数,除以硬件理论上每秒能做的运算次数。我们的模型每个 token 训练一次要约 7.6 万次浮点运算,乘上每秒的 token 数,就是实际的运算速度。这张卡 float64 的峰值约 1.08 万亿次每秒,算下来 batch 64 的 MFU 只有 6.7%,扫到最大 batch 也只有 7.8%。大模型训练常见的 MFU 在 30% 到 50%。
差距不在算力,而在搬数据。GPU 每次运算都要先从显存把数读出来,算完再写回去。这张卡的显存带宽约 840 GB/s,float64 算力约 1 万亿次每秒,所以每读写 1 个字节,至少要做 1.3 次运算,算力才不会闲着。这个比例叫算术强度。我们的模型很窄,每个头只有 4 维,注意力那个 B × 4 × 256 × 256 的大矩阵上,softmax、mask、除法这些逐元素运算,每读写 1 个字节只做约 0.1 次运算,GPU 大部分时间都在等数据。
用 profiler 拆开 batch 64 的一步(17 ms):约 8.5 ms 花在逐元素运算上,约 6.8 ms 花在矩阵乘法上。注意力矩阵约 134 MB,8.5 ms × 840 GB/s ≈ 7 GB,相当于把这个矩阵来回搬了约 50 次。而按运算量算,这一整步只需要约 1.2 ms。所以 MFU 低,不是因为 float64 慢,而是这个模型每搬一个字节只做很少的计算。