量化分析与系统设计
上限Bound
先按物理极限算出下界，再看系统离上限还有多远。这是李博杰《深入理解 AI Infra》的交互课：十二章、十二个实验、一套结业考核。
进度 0 / 39 · 积分 0
方法
五个问题
01
搬什么
权重、KV、激活、梯度，还是隐藏向量。
02
搬多少
先写成字节。感觉不是数字。
03
搬几次
驻留一次与每步重读，差的是数量级。
04
经过哪里
片上、HBM、NVLink、PCIe、网络、无线。
05
谁必须等它
串行依赖和往返，决定下限能不能重叠掉。
立刻动手
70B 在 H100 上生成一步
实验
单步下限
权重约 70.00 GB，在 80 GB 内（预留 5 GB）。
20.90 ms
带宽墙
读取 R/β100%
计算 F/Π1%
下限取两者较大者。较短的一根无论再缩短，只要没超过另一根，总时间就不动。
吞吐
47.9 token/s
运算量
140.00 GFLOPs
结构