端边云协同

位置

模型时间不是交互时间

用户感知的是按下发送到听到回答。里面有采集、上行、排队、prefill、decode、下行、播放。云端 H100 上 8 ms 的一步，叠上 80 ms RTT 和一次工具往返，产品已经换了一种感觉。

端侧先看容量。Qwen3-8B 的 BF16 权重 16.38 GB，多数手机直接出局；q4 量化后才进入旗舰内存的讨论。即便放得下，LPDDR 带宽大约 85 GB/s，单请求 8K decode 读 16.3 GB 就要约 190 ms，远慢于桌面 GPU。

拆分要付广域税

端侧做 prefill、云侧做 decode，或反过来，都要运 KV 或隐藏状态。Wi-Fi 和蜂窝的带宽、丢包、切换会把“谁必须等它”变成不稳定的随机量。无线变化下，重传和重建 KV 往往比继续用一份可能已过期的状态更安全。

LoRA 让端侧微调变得可能：冻结 16.4 GB 基模，只为很小的 adapter 保留优化器状态。一张 4090 训练不了全参数 8B，却训练得了它的 rank-16 adapter。位置选择因此不只是推理，也包括谁来更新哪一部分。