知识卡片：测试时 AI4AI：通过 Harness 实现强到弱的能力迁移
英文标题（manual title）：AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses
英文关键词（根据候选摘要提取）：test-time capability transfer; strong-to-weak scaffolding; inference-time harness; Theory-of-Mind; distillation
一句话结论
- 在不更新弱模型参数的前提下，更强的 builder 模型可以在测试时为其构建推理 harness，从而显著提升任务表现；摘要报告在四个 Theory-of-Mind 基准上，弱模型平均性能从 0.49 提升到 0.91（待核实）。
事件概述或研究问题
- 传统蒸馏通常发生在训练时：通过 teacher forcing、on-policy distillation 等方法，把大模型能力迁移到小/弱模型，往往需要更新后者的参数。
- 本文研究的问题是：这种能力迁移是否也能发生在测试时？
- 具体研究“强到弱脚手架”（strong-to-weak scaffolding）：强 builder 模型能否构建 inference-time harness，帮助弱 target 模型更可靠地解决任务，而完全不更新 target 模型参数。
方法/产品要点
- 设定：strong-to-weak scaffolding；builder 模型为强模型，target 模型为弱模型。
- 数据使用：在每个 Theory-of-Mind 基准上，builder 模型使用 5% 的数据作为验证集，经过多轮迭代改进 harness；最终版 harness 在完整测试集上评估（待核实）。
- Harness 的机制（据归因分析）：
- 将模型不稳定的推理外置为确定性代码；
- 进行基准特定的路由（benchmark-specific routing）；
- 强制执行严格的答案格式约束。
- 提升并不主要来自让 target 模型进行更长推理或更大范围采样。
主要结果或产业意义
- 摘要报告：目标模型平均性能近乎翻倍，从 0.49 提升到 0.91（待核实）。
- 性能提升主要来自确定性代码、任务路由和答案格式约束，而非目标模型自身推理长度的增加。
- builder 模型的推理投入越高，harness 质量单调提升。
- 平台效应相对 builder 模型自身能力的影响较小；越弱的 target 模型获益越大。
- 产业/实践意义：推理时 harness 设计可视为传统训练时蒸馏的重要补充，可能帮助强模型在无需重训练的情况下，将部分认知结构“借给”弱模型。
为什么重要
- 它把“能力迁移”从训练时扩展到测试时，提出了一种不更新参数、通过外部推理流程增强弱模型的路径。
- 表明强模型可以通过构造 harness，将认知结构迁移给弱模型，为 AI4AI 提供新的实现方式。
- 与既有脉络的关系：已有卡片“Direct-OPD”是训练时、从弱到强的策略蒸馏；已有“TADD”是测试时适应，但面向视频分布偏移且会更新模型。本卡片的增量在于：测试时、强到弱、不更新 target 参数，通过 harness 在 Theory-of-Mind 任务上实现能力迁移。
局限与不确定性
- 未能抓取全文；本卡基于候选摘要与元数据生成，具体实验细节待核实。
- 四个 Theory-of-Mind 基准的具体名称未在材料中列出，待核实。
- builder 与 target 的具体模型规模、模型家族、prompt 形式、harness 具体实现方式均待核实。
- 0.49→0.91 的结果可能依赖特定任务与模型组合，不能简单外推。
- 平台效应（platform effects）的具体含义、统计显著性和计算成本等需要阅读全文确认。
可用于图书/PPT/简报的角度
- 不训练也能变强？测试时能力迁移的可行性。
- 从“训练时蒸馏”到“测试时搭脚手架”：强模型如何帮助弱模型。
- 用 5% 验证集迭代 harness，可能近乎翻倍提升目标模型性能（待核实）。
- 小模型 + 外部推理 harness 作为部署时的低成本增强思路。
原始材料
- 英文标题：AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses
- 英文关键词：test-time capability transfer; strong-to-weak scaffolding; inference-time harness; Theory-of-Mind; distillation
- 原始来源：https://arxiv.org/abs/2608.12307v1 （arXiv:2608.12307v1）
- 备注：未能抓取正文，以上内容基于已提供的候选摘要与元数据生成，需对照原文进一步核实。