KaliBench 是一个面向 Kali Linux 自然语言到 CLI 的细粒度基准与数据集,用于测量 LLM 生成可执行网络安全命令的能力,并基于确定性信号构建 runtime-free verifiable rewards 用于训练;摘要称在 unrestricted setting 下,没有开放权重模型超过 42% exact-command ac…
值得关注:它直接针对 LLM 在网络安全 CLI 场景中的落地瓶颈:不仅要知道工具,还要能生成参数正确、可执行的命令。 对 AI agent 工具调用、网络安全自动化、模型后训练奖励设计有参考价值;runtime-free ve…