推理优化

服务

同一份权重，尽量让更多请求分摊读取

推理优化的主旋律，是在容量允许的范围内提高权重复用，同时控制每条请求经历的等待。连续批处理让新请求在步边界加入、完成的请求退出，避免等待整段生成结束。容量账仍是 MW + Σ M_KV + M_work ≤ Mcap。

PagedAttention：向操作系统借分页

预留连续的最大长度 KV，会在短请求上留下大量空洞。PagedAttention 把 KV 切成块，用块表映射逻辑 token 到物理页。碎片上限大约是一块的大小，换来的是更高并发。块越小越省，块表和分配次数也越多。

前缀缓存让共享系统提示或同一文档的请求复用已经算好的 KV。命中时 prefill 变成“只算增量”。推测解码用草稿模型向前多走几步，再用目标模型一次验证：接受长度的期望值决定加速比，草稿太长或接受率太低就会倒亏。