知识卡片：BLOOM-WILT：面向自动化LLM审计的行为诱导对数概率倾斜方法

一句话结论

BLOOM-WILT 是一个无需训练成本的自动化审计流水线，通过输入端会话策略更新与输出端基于目标模型自身分布的对数概率倾斜，在 4 个目标模型、8 种行为的 32 个设置中，于 30 个设置里击败基线审计器，并可能推翻以往模型安全排名。

事件概述或研究问题

大模型部署后，用户会遇到评测几乎无法覆盖的行为，因为部署产生的交互量远超任何评估能够模拟的规模。自动化审计可以让测试更便宜、更灵活，但其缺乏优化压力，导致采样效率低。BLOOM-WILT 试图在不训练目标模型、不额外访问其内部权重的前提下，高效诱导多轮对话中的罕见行为。

方法/产品要点

• 输入端：WILT 的审计模型会在多轮交互中不断修订会话策略，从之前已评分的交互结果中学习。
• 输出端：WILT 使用目标模型自身在“诱导提示”条件下的概率分布，对解码过程进行自适应重加权，使行为相关生成比未提示时同样可能的其他生成更早被采样。
• 全程无需训练成本，只需要目标模型的 next-token 分布（即预测下一个词的概率分布）。
• 目标是引出自然的、多轮的罕见行为实例。

主要结果或产业意义

• 在 4 个目标模型、8 种行为的评估中，WILT 在 32 个设置里的 30 个击败了基线审计器。
• 在从 Qwen3.5-4B 诱导“自我伤害鼓励”行为时，WILT 将平均行为出现率从 51% 提升到 100%，在匹配计算资源下优于所有移植进同一流水线的其他诱导方法，并且没有把输出概率压低到基线以下。
• 该结果推翻了此前基于其他方法得到的模型安全排名，说明评估/诱导手段可能显著影响安全结论。

为什么重要

• 自动化审计是识别模型风险行为的关键路径；现有方法往往只追求覆盖面，采样效率不足。WILT 把行为诱导当作可优化的解码干预，且不需要训练，容易复用到已有部署链路。
• 与已有相关卡片相比，本卡片的增量信息在于：已有卡片分别关注测评题目的相似性分析、KV 缓存压缩、EDA 前端设计等，而本条聚焦于“如何主动触发 LLM 低频风险行为”这一审计核心环节，并展示了该方法能改变模型安全排名。

局限与不确定性

• 原文为 arXiv 预印本（arXiv:2608.31105v1），正文尚未抓取，以下细节待核实：具体基线审计器、行为定义清单、评估协议、统计显著性、计算开销等。
• 摘要未说明该方法对良性行为或过度触发的影响，也未讨论分布偏移下的鲁棒性，待核实。
• “推翻模型安全排名”的具体幅度、方向以及 Qwen3.5-4B 等模型版本信息，需以原文为准，待核实。

与既有脉络的关系

• 与“双维度大语言模型框架用于大规模测评”相比，本卡不分析题目内容相似性，而是关注测评中如何让模型表现出目标行为。
• 与“FreqDepthKV”同属推理期对模型输出的干预，但目标不同：前者压缩 KV 缓存以提升效率，后者通过对数概率倾斜诱导行为。
• 本卡不涉及 EDA 垂直领域的 LLM 应用。

可用于图书/PPT/简报的角度

• 可用于“自动审计员如何让模型‘说漏嘴’”的案例，展现行为诱导对 AI 安全审计的价值。
• 可对比传统评估与自动化审计的采样效率，突出“对数概率倾斜”这种轻量级干预手段的设计思路。
• 可用“4 个模型 × 8 种行为，30/32 胜率”以及“自我伤害鼓励出现率 51%→100%”作为数据亮点。

原始材料

• 英文标题：BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing
• 英文关键词：bloom-wilt; logit tilting; behaviour elicitation; automated LLM auditing; multi-turn; safety evaluation
• 来源：https://arxiv.org/abs/2608.31105v1 （预印本，正文未抓取，内容待核实）