知识卡片：Together Post-Training：自定义模型训练服务

一句话结论

Together AI 于 2026 年 10 月 19 日推出 Together Post-Training 服务，让用户在自有 GPU 资源上对 Qwen、GLM、Kimi 等开放权重模型进行 SFT 或 RL 后训练，训练循环由用户定义、底层基础设施由 Together 托管优化。

事件概述或研究问题

• Together AI 发布 Together Post-Training，定位为“frontier-grade model shaping, the way that fits you”。
• 针对的问题：后训练（数据策展、训练算法、评估协议需多轮迭代；RL 基础设施复杂，效率优化与隐性 bug 之间界限模糊）门槛高，许多公司“从未开始或中途停滞”。
• 与既有 fine-tuning 服务的区别：Together Post-Training 的整个训练循环由用户定义，可用任意数据、环境或 agentic harness，并插入日志、外部基准等步骤。

方法/产品要点

• 资源模型：实验运行在 Model Resources（专属 GPU 分配，不与其他用户争抢优先级）；每个 Model Resource 可容纳一个或多个 Training Session（同一基座模型的一次实验，如一组 LoRA adapter）。
• 组件：每个 Session 含 Trainer（前向/反向与权重更新）与 Generator（策略 rollout）；SFT 可设 0 个 generator 以省成本；支持异步 RL 以提升 GPU 利用率，尤其适合长 agentic rollout。
• 训练方式：支持 LoRA（多 adapter 共享 GPU 容量）与部分模型的全权重实验。
• 损失函数：内置 cross-entropy、GRPO、CISPO、DPPO 等，也支持本地计算自定义目标并把梯度发给 Trainer。
• 首批模型：Muse Spark Open、GLM 5.3、Kimi K3、Qwen 3.8-27B，后续数周扩展。
• 质量保障：针对训练/推理引擎数值不一致导致的 policy drift，采用 Rollout Routing Replay 及自研训练稳定性优化。
• 效率：rollout 引擎复用 Together 推理服务栈的优化（多轮 agent 的智能缓存与路由）；训练侧用优化并行与 sequence packing；按 GPU-minute 计费。
• 部署：Dedicated Model Inference 支持 multi-LoRA adapter serving，单部署内切换 adapter；训练 checkpoint 转 FP4 精度 merged inference 后仍保持质量（来源称）。
• 上手：安装 Together SDK、读文档、使用 github.com/togethercomputer/post-training-cookbook 的 cookbook；提供从 Tinker API 一行代码迁移的方式。

主要结果或产业意义

• 早期客户反馈（来源引述）：
  • Deel：数小时内启动真实 RL 实验，同一 GPU 容量上并发多达 5 个 RL 实验。
  • Jack & Jill：用开源模型后训练，离线评估匹配闭源模型质量，服务成本显著更低。
  • Collinear AI：自 4 月 beta 起合作，自助 onboarding 后可快速启动全规模 agentic RL。
• 产业意义：把前沿实验室级别的后训练能力产品化，降低自建 RL 基础设施的投入门槛；训练所得 checkpoint 可部署在任意位置、继续精调甚至本地使用，强调“所有权与灵活性”。

为什么重要

• 来源判断：2026 年训练自定义模型已非小众话题，企业用其降本并提升任务特定表现；比起靠 context 或 harness engineering 修补模型行为，训练专家 agent 可在远低成本和运行时下匹配前沿模型质量。
• 与既有脉络的关系：本卡片补充的是“训练侧”能力——此前已有卡片记录了 Together Link（把开放模型接入既有编码 harness，属推理/接入层）与 Together AI 的 8 亿美元 C 轮融资（资本层）；本条则是同一厂商在模型定制训练基础设施上的产品延伸，三者分别对应接入、资本与训练三个层面，不重复同一事实。

局限与不确定性

• 客户效果均为厂商博客中的引述，缺乏独立评测；Jack & Jill 所称“匹配闭源模型质量”的具体基准与模型名称未披露，待核实。
• 计费细节仅称“按 GPU-minute 计费”，并称规模扩大后总成本低于 token 计价，具体价格与对比口径待核实。
• “多 LoRA 共享资源”“FP4 部署保持质量”等为来源主张，第三方复现结果待核实。
• 首批模型清单及后续扩展计划以发布时点为准，可能变化。

可用于图书/PPT/简报的角度

• 后训练即服务（post-training-as-a-service）：把 RL 基础设施的“效率优化 vs 隐性 bug”难题外包。
• 训练循环归用户、基础设施归平台的责任切分模式。
• 开放权重模型 + 自训练 checkpoint 作为“模型所有权”叙事：可任意部署、继续精调、本地运行。
• 从 Tinker API 一行迁移看后训练工具链的接口趋同。
• 训练与推理数值对齐（policy drift）作为 RL 稳定性的工程关键点。

原始材料

• 标题：Together Post-Training: frontier-grade model shaping, the way that fits you
• 来源：Together AI Blog（Fine-Tuning 分类），发布于 10/19/2026
• URL：https://www.together.ai/blog/together-post-training
• 关键词：Together Post-Training；SFT；RL；LoRA；GRPO；CISPO；DPPO；Rollout Routing Replay；multi-LoRA serving；FP4；Tinker API