知识卡片：SAGE：以熵为触发的不完美VLM教师引导，蒸馏可独立部署的轻量RL策略

• 一句话结论：SAGE（Selective Agent Guidance via Entropy）提出一种“VLM做临时教师、轻量RL做最终学生”的训练框架：只在学习器不确定时查询VLM，并用环境产生的优势值给教师建议加权；最终模型在评估和部署时不调用VLM，甚至能在部分环境中超过VLM教师。

• 事件概述/研究问题：VLM可以为交互式决策提供有用的先验，但直接把VLM当作策略来使用既昂贵又脆弱：每一步都要查询模型、无法从环境交互中改进、还会重复系统性错误。因此作者研究的问题是：如何从一个在线、昂贵、不完美但有信息量的VLM教师那里，蒸馏出一个廉价的自主策略。

• 方法/产品要点：

  • SAGE框架只在“学习器不确定”时查询VLM，而不是每个决策步都查询；从论文标题看，选择机制与熵有关，但摘要未展开具体实现。
  • 训练过程中，若查询了VLM，则执行VLM建议的动作。
  • 将VLM的建议动作蒸馏到一个轻量级强化学习策略中。
  • 由于VLM建议并非总是可靠，SAGE用环境推导出的优势值（advantage）为教师动作的蒸馏项加权，而不是把每条教师建议都视为同等有用。
  • 评估/部署阶段不需要VLM调用，由学到的策略自主行动。

• 主要结果与产业意义：

  • 在稀疏奖励的视觉推理和导航任务上，SAGE学到的策略在评估时无需VLM引导，并在多个环境中优于无引导的强化学习。
  • 文中提到存在“学到的策略超过其VLM教师”的情况。
  • VLM使用量明显降低：训练时只在部分步骤提示教师，部署时完全不需要VLM调用。
  • 对产业界的潜在启发是：可以用训练阶段的VLM引导来获得表现接近甚至超过大模型的轻量策略，从而降低部署时的推理成本。

• 为什么重要：

  • 该结果说明：VLM不一定非要作为固定策略“亲自上场”才有用；它们可以充当临时且不完美的引导来源，其价值通过与环境交互被检验，并内化到学生策略中。
  • 这为“基础模型既昂贵又无法在线改进”的问题提供了一条中间路线：让大模型在训练中当导师，让轻量策略在部署中当行动者。
  • 在既有知识卡片脉络中，本条的增量不在“预测失败”或“从负轨迹反思”，而在“选择性调用不完美VLM教师 + 用环境优势值给教师建议加权 + 训练后零VLM调用部署”。

• 局限与不确定性：

  • 来源材料只有摘要，未给出具体环境名称、数据集、任务设置、对比数值、熵的判定阈值、优势值加权公式和VLM查询比例；这些信息待核实。
  • 摘要明确承认选择性引导并非在所有环境中都更优：当无引导探索已经能成功，或教师动作不能产生有信息量的经验时，选择性引导的帮助有限。
  • 关于训练开销、额外计算量和不同VLM规模的影响，摘要中未提供细节；待核实。

• 可用于图书/PPT/简报的角度：

  • “别让大模型事必躬亲：SAGE教轻量策略在不确定时才问老师。”
  • “教师建议也要用环境来检验：不是所有VLM动作都值相同的蒸馏权重。”
  • “训练时请VLM当教练，部署时不需要VLM上场。”

• 原始材料：

  • 英文标题：Selective Agent Guidance via Entropy: Learning Autonomous Policies from Imperfect VLM Teachers
  • 英文关键词：Vision-Language Models; VLM Teacher; Selective Agent Guidance via Entropy; Reinforcement Learning; Advantage-Weighted Distillation; Autonomous Policy
  • 作者：Matteo Merler, Giovanni Bonetta, Davide Zago, Rossella Cancelliere, Bernardo Magnini
  • 来源：arXiv:2609.01567v1
  • URL：https://arxiv.org/abs/2609.01567v1
  • Journal reference：EMNLP 2026 Findings
  • Published：2026-09-01