知识卡片：Anthropic滑跪认错！Claude暗中降智实锤

• 英文标题：Anthropic Admits Claude Code 'Effort' A/B Test and Opus 5 Instability
• 英文关键词：Anthropic; Claude Code; A/B testing; effort mapping; Opus 5; model transparency; benchmark vs. user experience

一句话结论

根据新智元2026年8月25日报道，开发者发现Claude Code在服务端将“high”推理档位映射为数值“10”并纳入A/B实验，Anthropic工程师承认正在测试但声称不影响性能；同时公开承认Opus 5模型“表现很不稳定”。事件再次引发对大模型版本更新不透明、跑分与用户体感脱钩的讨论。

事件概述

• 开发者argofowl发现Claude Code“变笨”，排查了t3 code、自己的代码甚至Mac故障，最终在API请求日志中看到推理档位数字为「10」，而他在后台选择的是最高档“high”。
• 社区反馈显示，从Claude Code 2.1.237开始，“high”被读取为10 out of 100，而10过去对应“low”档；Anthropic将Claude Code 2.1.236及以上版本的Fable 5会话纳入“压缩effort数值刻度”实验。该实验大概率是A/B测试，材料称老版本和Opus 5不受这个具体实验影响。
• 科技博主Chubby转发后引发讨论，X上出现大量“Claude变笨了吗”自测帖。

方法/产品要点

• Claude Code工程师Thariq Shihipar回应：有时会先测试API服务配置再决定是否全量推；当前实验只改变了effort的数值映射方式，因此有人在日志中看到“10”。
• 他强调该刻度不是0到100，数字单独看无意义，“你选的effort就是你拿到的effort”，并称团队做了深入评测，确认不影响模型性能。
• 对于Opus 5的“降智”反馈，Thariq公开承认Opus 5是“表现很不稳定”的模型，团队正以最高优先级解决。

主要结果或产业意义

• 事件被概括为“跑分永远向上，体感一路向下”：材料列出的Opus 5成绩包括综合得分82.72、SWE-bench Pro 79.2%、Terminal-Bench 86.7%，但用户体感包含“啰嗦”“偷懒”“爱抬杠”、制造bug后反复修bug等。
• 事件揭示大模型服务缺乏传统软件那样的语义化版本号、更新日志和回滚机制；同一模型名称下可能随时进行A/B测试、更换量化方案、调整模型路由或推理资源，用户只能靠“体感”判断。
• 产业启示：当模型成为基础设施，稳定性是一种信任契约；跑分可用于营销，稳定性需要一次次兑现。

为什么重要

• 该事件为“AI行业透明度”提供了一个具体案例：A/B测试未告知用户，导致开发者把大量时间浪费在排查自己的环境。
• 它把基准测试与真实用户体验之间的系统性脱钩摆上台面。
• 与已有相关卡片相比，本卡片的增量在于：NIST AI RMF 提供了治理框架，Epoch AI 关注宏观研究趋势，OpenRouter 展示中间层产品化；而本卡片记录了一次具体的透明性与信任事件——模型服务端静默变更如何直接影响开发者，并引发公开回应与修复承诺。

局限与不确定性

• 本文内容来自新智元报道；材料中未给出Anthropic官方公告或独立验证，部分细节待核实。
• 文中“Fable 5”具体指代及实验覆盖范围待核实。
• A/B测试的分组条件、影响用户比例、开始和结束时间待核实。
• 工程师声称“不影响模型性能”所依赖的评测细节未在材料中披露，待核实。
• 基准得分（82.72、79.2%、86.7%）的具体评测环境和版本待核实。
• 关于“Claude Code 2.1.237开始”与“2.1.236及以上版本”两种表述并存，具体版本边界待核实。

可用于图书/PPT/简报的角度

• 案例：大模型A/B测试是否应该向用户披露？如何建立类似传统软件的变更日志与回滚机制？
• 讨论：基准测试分数与用户真实体验的差距，以及“跑分营销”的风险。
• 治理：当模型成为基础设施，服务稳定性、可观测性和用户信任之间的关系。
• 公关：Anthropic工程师的快速回应与“最高优先级”承诺，可作为企业危机沟通案例。

原始材料

• 来源：新智元（作者：AIERA；发布于2026年8月25日）
• 链接：https://aiera.com.cn/2026/08/25/other/admin/110554/anthropic%e6%bb%91%e8%b7%aa%e8%ae%a4%e9%94%99%ef%bc%81claude%e6%9a%97%e4%b8%ad%e9%99%8d%e6%99%ba%e5%ae%9e%e9%94%a4