现有以F1为主的指标只评估扫描器“给出可用安全判断”时的准确性,却掩盖了扫描器“无法给出判断”的覆盖盲区。基于170个合成工件(145个标本家族)的评估显示,ModelAudit对135个有标签家族全部给出明确安全判断(100%),Fickling为81.5%,ModelScan仅49.6%;但在能给出明确判断时,ModelScan的精度、召回率和F1均达…
值得关注:本卡片与已有相关卡片的关注点不同:已有卡片涉及自动化AI研发中的监控器拦截率、对齐模型接口失败、超级权重与微调失败等,而本卡片聚焦AI模型安全扫描器本身的评估方法论,特别是把“判断准确性”与“判断可用性”分离。这是对模…