CordisBench 是包含 1,200 道题的组件生命周期推理基准,用来考察语言模型能否在动态 Agent 执行框架(dynamic agent harness)中理解组件依赖、清理(teardown/cleanup)顺序与重配置的后果。结果显示,模型在小规模系统上通常表现不错,但随着相关交互数量增加,可靠性下降;额外推理投入可为部分模型带来明显提升,…
值得关注:它将“语言模型修改自身执行环境”这一新范式中的组件生命周期问题,显式化为可量化评测任务。 提供了一个将有限参考语义与真实运行时执行相对照的评估思路,有助于同时考察推理结果与推理成本。 为动态 Agent 的可靠性研究提…