对图像/视频密集、输出长度较短、使用量化 MoE 模型的多模态推理场景,NVIDIA Dynamo 实现的 Encode-Prefill-Decode(EPD)分离可将首 token 时延(TTFT)提升最高 5 倍、端到端响应提升最高 7 倍;但当解码阶段主导延迟或使用大型稠密模型时,收益会大幅缩小甚至逆转。
值得关注:该博客给出了从“聚合服务”到“EPD 分离”的量化决策框架,明确媒体负载、输出长度、模型类型和硬件层级的交互影响,为多模态模型推理架构选型提供了可复现的基准与判据。不同于单纯宣传性能提升,文章同时标明了收益退缩的边界条件。