知识卡片：智能家居工具调用中的剪枝退化：跨架构与任务复杂度评估

一句话结论

剪枝会先破坏智能家居工具调用中的“接地具体性”，再影响模式级意图；密集模型的安全剪枝区间较窄且随后急剧退化，MoE 模型可承受明显更多剪枝，激进剪枝密集模型还可能引发系统性过度拒答。

事件概述或研究问题

• 英文标题：What Breaks Under Pruning in Smart Homes, and When? Evaluating LLM Degradation Across Architectures and Task Complexity
• 研究问题：剪枝可降低大语言模型部署成本，但其对“依赖上下文 grounding 的工具调用”影响仍不清楚。
• 论文系统研究智能家居工具调用中的剪枝诱导退化，覆盖不同模型架构与剪枝方法。
• 作者：Congjing Zhang、Vashishtha Patil、Henning Lange、Usman Aleem。
• arXiv ID：2609.17515v1；来源标注发布时间为 2026-09-15T17:51:48Z。
• Track：academic；Topics：foundation-model。

方法/产品要点

• 模型范围：四个 LLM，覆盖 dense Transformer、dense hybrid 与 mixture-of-experts（MoE）架构。
• 剪枝方法：depth、width、hybrid、expert pruning。
• 流程：剪枝后进行 post-pruning supervised fine-tuning（SFT）。
• 评测规模：来自三个智能家居数据集的超过 19,500 个实例。
• 评测维度：除总体任务准确率外，还沿两类维度刻画退化：
  • 动作组件：operation、device、argument、value；
  • 任务复杂度。
• 具体模型名称、数据集名称、剪枝比例、SFT 超参数、准确率数值和统计显著性：待核实。

主要结果或产业意义

• Dense 模型：安全剪枝区间较窄，超过该区间后性能急剧退化。
• MoE 模型：对剪枝的容忍度明显更高。
• 退化顺序：剪枝先损害 grounded specificity，再影响 schema-level intent。
• 激进剪枝 dense 模型：可能诱发系统性 over-refusal。
• 产业意义：选择剪枝后的 LLM 用于可靠工具执行时，不能只看总体准确率；需要按动作组件和任务复杂度分层评估，并关注过度拒答等失败模式。

为什么重要

• 该研究把“模型压缩”与“智能体工具调用可靠性”连接起来，补充了工具使用评测中常被忽略的剪枝退化维度。
• 与已有 VAKRA 卡片关注跨 API 与检索的多跳推理不同，本条聚焦剪枝后智能家居工具调用的退化结构；增量信息是：压缩后的工具调用能力不是均匀退化，而是有先后和模式差异。
• 对智能家居等成本敏感、上下文接地要求高的部署场景，架构选择与剪枝策略可能直接影响工具执行是否可靠。
• 对评估设计而言，需要从单一总体成功率扩展到 operation/device/argument/value 与任务复杂度分层指标。

局限与不确定性

• 当前材料仅为摘要，未提供全文细节；具体模型、数据集、剪枝率、SFT 设置与数值结果待核实。
• 结论主要基于四个 LLM、特定剪枝方法和三个智能家居数据集，能否外推到其他领域、工具生态或部署环境待核实。
• 剪枝后 SFT 对恢复能力的贡献程度、是否与未做 SFT 的对照组比较，待核实。
• “降低部署成本”的具体量化收益未在摘要中给出，待核实。
• over-refusal 的触发条件、严重程度和缓解方式待核实。

可用于图书/PPT/简报的角度

• 压缩不是免费的：工具调用能力存在非均匀退化顺序。
• 架构权衡：Dense 与 MoE 在剪枝鲁棒性上的差异。
• 评估仪表盘：总体准确率之外，增加 operation、device、argument、value 与复杂度分层。
• 失败模式：激进剪枝可能把“能力下降”转化为“系统性拒答”。
• 从“能不能调用工具”推进到“压缩后还能不能可靠调用工具”。

原始材料

• 英文标题：What Breaks Under Pruning in Smart Homes, and When? Evaluating LLM Degradation Across Architectures and Task Complexity
• 作者：Congjing Zhang, Vashishtha Patil, Henning Lange, Usman Aleem
• arXiv ID：2609.17515v1
• Published：2026-09-15T17:51:48Z
• Updated：2026-09-15T17:51:48Z
• Primary category：cs.CL
• Categories：cs.CL
• Abstract URL：https://arxiv.org/abs/2609.17515v1
• PDF URL：https://arxiv.org/pdf/2609.17515v1
• 英文关键词：pruning; smart-home tool calling; LLM degradation; dense Transformer; dense hybrid; mixture-of-experts (MoE); depth pruning; width pruning; hybrid pruning; expert pruning; supervised fine-tuning (SFT); task complexity; over-refusal; grounded specificity; schema-level intent
• 说明：原文未在给定材料中单独列出关键词；以上英文关键词为依据摘要提炼，是否与原文关键词完全一致待核实。