知识卡片:评估开源大模型生成自动驾驶车辆漏洞的结构化威胁信息
一句话结论
开源大语言模型(4B–120B参数)在将自动驾驶车辆漏洞描述自动转换为结构化威胁信息(STIX)方面表现良好,单项任务F1最高可达0.99,但完整映射MITRE ATT&CK仍具挑战;多智能体设置下效果有所下降。
事件概述或研究问题
联网自动驾驶车辆(CAV)的软硬件组件(传感器、ECU、车载娱乐系统、远程信息处理单元)存在多种漏洞,这些漏洞通常以纯文本形式记录于CVE数据库。安全从业者需要结构化信息(受影响资产、弱点类型、攻击行为)才能有效缓解风险。本研究评估开源大模型能否自动将CAV相关CVE描述转换为STIX(结构化威胁信息表达)格式,包括STIX领域对象(SDO)、关系对象(SRO)、通用弱点枚举(CWE)及MITRE ATT&CK技术映射。
方法/产品要点
- 数据集:构建CAV-STIXGen数据集,映射CAV漏洞描述到SDO、SRO、CWE和ATT&CK技术。
- 模型:评估11个开源大模型,参数规模4B至120B;采用多种提示策略和温度设置。
- 配置:单模型策略与多智能体(Gemma-4-31B + Codestral-22B)协作。
- 任务:SDO识别、SRO识别、CWE映射、完整ATT&CK映射。
主要结果或产业意义
- 单模型最佳F1得分:SDO 0.94,SRO 0.63,CWE映射 0.99。
- 完整MITRE ATT&CK映射:仍较困难(待核实具体分数)。
- 多智能体设置:Gemma-4-31B在SDO上F1=0.91,Codestral-22B在SRO上F1=0.43。
- 模式分析:通过CWE与ATT&CK共现分析,识别出CAV领域常见的威胁模式,表明AI辅助的漏洞到STIX翻译可自动化威胁情报并优先防御。
为什么重要
该研究首次系统评估开源大模型将漏洞文本自动转换为结构化威胁情报的能力,填补了CAV安全领域自动化威胁建模的空白;零代码/低成本的开源模型方案有望降低中小企业应用威胁情报的门槛。与已有相关卡片(如面向自动驾驶的规划框架、LLM安全监测)不重复,聚焦于漏洞信息结构化这一具体下游任务。
局限与不确定性
- 完整MITRE ATT&CK映射的F1得分未在摘要中明确给出(待核实)。
- 数据集CAV-STIXGen的规模、来源、标注质量未详细说明(待核实)。
- 仅评估了开源模型,闭源模型(如GPT-4)未纳入对比。
- 多智能体设置的SRO表现(F1=0.43)明显低于单模型(0.63),原因待分析。
可用于图书/PPT/简报的角度
- 自动化威胁情报的范例:展示LLM如何将非结构化漏洞描述转化为标准化情报(STIX),适合安全运营自动化章节。
- 自动驾驶安全:可作为智能网联汽车网络安全中的案例,说明AI辅助漏洞分析的潜力。
- 大模型应用评估:从精确度、任务难度、模型规模等维度横向对比多个开源模型,适合模型选型指南。
原始材料
- 英文标题:Evaluating Open-Weight LLMs for Generating Structured Threat Information for Autonomous Vehicle Vulnerabilities
- 英文关键词:Evaluating Open-Weight LLMs; Structured Threat Information; Autonomous Vehicle Vulnerabilities; STIX; CAV-STIXGen
- 来源:arXiv:2607.16175v1 (https://arxiv.org/abs/2607.16175v1)