Together Inference Engine 在编码智能体生产工作负载上,相比 TensorRT-LLM 实现了 31% 更高的 TPS,在饱和状态下 TTFT 提升 2 倍,且相比 Claude Opus 4.6 成本降低 76%(或相比 Claude Opus 4.8 每个请求节省 70%)。
值得关注:编码智能体工作负载具有长输入、高并发、对首 token 延迟敏感的特点。传统单用户基准无法捕捉 KV 缓存竞争、预填充压力等生产瓶颈。本文提供的基准方法和优化成果直接帮助工程团队评估和选择推理引擎,降低大规模部署成本。