知识卡片：RTL 修复基准到底在测量什么？

一句话结论

该论文指出，常规 RTL 修复评分未必能区分“模型是否利用了有缺陷的 RTL 本身”与“模型是否只是按规格从头写出修复版本”，并据此提出一套评测控制与诊断协议；具体结论与数值因未能抓取正文，待核实。

事件概述或研究问题

• 研究问题：RTL 修复基准应当衡量“给定规格、模型能否修复损坏的 RTL”，但现有评分可能混入与修复能力无关的因素。
• 作者构建了 RTLRepairDataset（5,784 对 (broken, fixed) 训练样本）、RTLRepairBench（459 个留出案例，含 374 个语法变异与 85 个行为变异）以及支持仿真与形式等价检查的评测框架，并用其识别测量混杂。
• 以上数据集规模、案例构成来自元数据，细节待核实。

方法/产品要点

• 资源三件套：训练集、留出基准、评测 harness（支持 simulation 与 formal equivalence）。
• 论文报告两类测量混杂：
  1. 在某一评测队列中，仿真评分与形式评分对“是否提供规格”的表观效应给出相反符号；作者用“reset-aware rescoring”将大部分分歧归因于复位与首周期比较语义。
  2. 在 274 个挖掘出的模型失败案例上，六个模型的“仅规格”减“规格条件”恢复率点估计范围为 −8.5 到 +18.3 个百分点。
• 提出的评测控制：报告初始化、复位、首周期与未知值语义；披露 oracle 覆盖与未决案例；加入“仅规格”基线。
• 上述方法与数值均来自元数据摘要，待核实。

主要结果或产业意义

• 若上述混杂成立，则传统修复分数不能单独隔离“模型是否使用了故障 RTL”这一能力维度。
• 对 RTL 修复类基准的启示：需要显式的评测控制项与“仅规格”基线，才能解释分数来源。
• 具体实验结果、统计显著性与跨模型结论待核实。

为什么重要

• 对学术评测：提醒基准分数可能被复位/首周期语义与 oracle 覆盖等实现细节左右，影响模型间比较。
• 对产业落地：RTL 修复工具的实际价值在于“读懂坏代码并最小改动”，而非“按规格重写”；评分口径会直接影响工具选型判断。
• 与既有卡片的关系：本卡片延续“基准到底测了什么”的评测反思脉络（如 VLA 忠实性、视频模型程序化事件渲染），增量在于将追问落到 RTL 修复基准的评分构成与评测协议上。

局限与不确定性

• 未能抓取正文，所有数值、实验设置与结论均待核实。
• 两类混杂是否在其他评测队列、其他 RTL 数据集上复现，待核实。
• “reset-aware rescoring”的具体定义与实现细节，待核实。
• 基准与代码已声明开源于 https://github.com/Evaaaz/RTLRepairBench，但仓库内容与论文一致性待核实。

可用于图书/PPT/简报的角度

• “基准分数不等于能力”：以一个 RTL 修复基准为例，说明评分语义（复位、首周期、未知值）如何改变结论符号。
• “加一个仅规格基线”：作为评测设计的通用检查项，适用于代码修复、硬件修复等多类基准。
• “仿真 vs 形式化”分歧的案例化讲解：同一队列、两种评分、相反符号，适合做方法论警示页。
• 评测协议清单：初始化/复位/首周期/未知值语义、oracle 覆盖、未决案例披露。

原始材料

• 标题：What Do RTL Repair Benchmarks Actually Measure?
• 来源：arXiv，https://arxiv.org/abs/2610.28595v1
• 项目/代码：https://github.com/Evaaaz/RTLRepairBench
• 英文关键词：RTL repair benchmark；simulation vs formal equivalence；reset-aware rescoring；specification-only baseline；evaluation controls
• 说明：正文未能抓取，本卡片仅基于元数据生成，标注“待核实”之处需回原文确认。