同一台八卡服务器，AMD 如何让长文本 AI 请求跑得更顺？

11月11日，AMD 发布一项部署测试：在一台搭载八颗 Instinct MI300X 加速器的服务器上运行 GLM-5.3-Flash，比较不同多卡分工方式在长上下文任务中的表现。[1]

AI 一次处理的材料越来越长，同时使用服务的人也可能越来越多；即使模型已经装进显存，服务器还要为每个请求保存处理中间信息。请求一多，显存就可能先被缓存占满。[1]

模型装得下，缓存也要有地方放

AMD 的八卡测试平台共有1536 GB 高带宽内存，GLM-5.3-Flash 的 FP8 模型权重约占306 GB。推理时，服务器还需要保存键值缓存（KV cache），避免模型反复计算已经处理过的内容。[1]

可以把缓存理解为每个请求的工作记录：材料越长、同时进行的请求越多，需要保留的记录也越多。当缓存空间用完，新请求就要排队，服务速度随之受影响。

AMD 比较了两种多卡配置：一种让八张卡共同处理任务，称为 TP8；另一种结合数据并行与专家并行，称为 DP8＋EP8。两者使用同一台服务器，但将计算和请求分配给显卡的方式不同。[1]

单个请求快，多人同时用还要换种分工

在 AMD 的测试中，并发请求只有一个时，TP8 的输出吞吐量约为另一种配置的1.6倍。但当长请求数量增加，结果发生了变化。[1]

以每个请求输入9.6万、输出3.2万 token 的测试为例：并发数达到256时，TP8 的输出吞吐量约为每秒2317 token，DP8＋EP8 约为每秒4719 token，后者约为前者的2.04倍。[1]

测试还比较了两种缓存精度。将缓存从 BF16 改为 FP8 后，在原有缓存仍有余量时，吞吐量变化不足2%；当 BF16 缓存装不下更多请求时，FP8 释放的空间开始带来收益。[1]AMD 已公布测试配置和复现方法，供开发者根据自己的模型与请求量调整部署。[1]

参考资料

[1] SAKHAMOORI P, DEOPUJARI M, TSENG J, et al. Parallelism for long-context serving: GLM-5.3-Flash on MI300X[EB/OL]. AMD ROCm Blogs, (2026-11-11)[2026-11-12].