数据中心网络

scale-out

超节点之外，字节要走另一套物理

超节点内部是 scale-up：低延迟、高带宽、拓扑固定。多个超节点之间是 scale-out：网卡、交换、拥塞控制和故障域。400 Gbit/s 的网卡线速是 50 GB/s，传 1 GB 理想只要 20 ms；启动、协议头、共享链路和其他流量会把这个数字拉长。

三种流量不应混为一谈。服务入口传的是请求文本；共享存储传的是模型文件，可以提前加载；加速器互联传的是当前层必须立刻到达的中间结果。最后一种流量的依赖最硬：下一层在等它。

RDMA 把 CPU 移出关键路径，但没有取消等待

直接内存访问让网卡把数据写入指定内存，CPU 只负责发起和管理。这减少了主机参与次数，并不减少光速和交换机排队。顺序与匹配仍然要有人做：消息乱序到达时，计算不能假装数据已经齐了。

拥塞会让有效带宽掉到标称值的一个零头。训练的周期通信（AllReduce）特别怕这种抖动：一个掉队的 rank 卡住整步。故障恢复则把“谁必须等它”变成检查点间隔与重算窗口的设计问题。