知识卡片：PlanSightRAG：面向土木标准图纸问答与合规检查的视觉优先多模态RAG

英文标题：PlanSightRAG: A Visual-First Multimodal RAG for Automating Question Answering and Compliance Checking for Civil Standard Plans
英文关键词：Visual-First Multimodal RAG; Compliance Checking; Civil Standard Plans; Retrieval-Augmented Generation; Visual Question Answering

一句话结论

PlanSightRAG 是一个直接对图纸图像建立索引并进行推理的视觉优先多模态 RAG 框架；在五个州交通部标准图纸的零样本检索上达到 91.47% Recall@5，在合成合规图纸上，只有在提供预解析规则阈值时才达到 100% 判定准确率。

事件概述/研究问题

土木基础设施合规检查长期依赖工程师人工阅读传统二维图纸。基于 OCR 的自动化流程会剥离图纸中对于理解至关重要的几何与布局信息。PlanSightRAG 提出直接基于图纸图像（而非 OCR 文本）进行检索和推理的方案，以自动化标准图纸的问答与合规检查。

方法/产品要点

视觉优先多模态 RAG：索引和推理直接在图纸图像上进行。
多向量检索：集成 ColNomic-3B 多向量检索（具体机制原文未展开，待核实）。
智能体流程：采用 Planner-Retriever-Auditor-Synthesizer 四个角色的智能体流水线。
证据轨迹：使用 MaxSim 热图作为检索与判断的可视化证据。
基准数据：自建一个包含 4,056 对样本的基准，来自五个州交通部（DOT）的标准图纸，共 1,898 页。

主要结果/产业意义

零样本检索效果：PlanSightRAG 在五个州 DOT 标准图纸上达到 91.47% Recall@5；在留出的密歇根州 DOT 语料上达到 91.40%。
合规判定上限：在合成、参数化生成的合规图纸上，Qwen2.5-VL-72B 流水线仅在提供预解析规则阈值时达到 100% 判定准确率；非 VLM 的 OCR 基线达到 76.4%。
自主视觉规则接地：能从规范语料库中直接提取数值限制，无需人工提供规则。
产业意义：为减少人工阅读图纸、改进合规检查自动化提供了以视觉信息为核心的可行路径，同时保留了可供审计的证据线索。

为什么重要

现有 OCR 方案丢失几何与布局信息，PlanSightRAG 将“视觉优先”引入土木标准图纸的 RAG 流程，并给出可解释的热图证据。相比已有相关卡片（如 HierDoc 的页到区域证据路由），本条的核心增量在于：它面向土木标准图纸领域，使用 ColNomic-3B 多向量检索和 MaxSim 热图证据轨迹，并提供了来自 DOT 标准图纸的检索基准。

局限与不确定性

100% 判定准确率是在合成图纸且提供预解析规则阈值的受控条件下取得的，不代表真实图纸上的泛化性能。
非 VLM OCR 基线达到 76.4%，仅作为一个对比值；其具体设置待核实。
“ColNomic-3B”模型细节、基准的具体构建方法、以及实际部署效果等超出摘要范围，待核实。
未提供与其他 RAG/VLM 方法在相同基准上的完整比较，待核实。

可用于图书/PPT/简报的角度

用“视觉优先 vs OCR”对比说明多模态文档理解中视觉信息不可替代。
用土木图纸合规检查作为 RAG 在垂直行业落地的案例。
用 MaxSim 热图展示可解释证据轨迹，适用于“AI 可解释性”相关演示。
以 Recall@5 和合规判定准确率说明领域内自动化检查的进展与边界。

与既有脉络的关系

已有相关卡片覆盖了多模态问答中的置信校准、临床时间序列问答、长文档视觉问答的证据路由。本条进一步将视觉多模态 RAG 引入土木标准图纸领域，核心增量是：以图纸图像而非 OCR 文本为主要检索对象，并设计了带证据热图的智能体审计流程；它与 HierDoc 的页面/区域选择互补，但聚焦于标准图纸的合规检查任务。

原始材料

英文标题：PlanSightRAG: A Visual-First Multimodal RAG for Automating Question Answering and Compliance Checking for Civil Standard Plans
arXiv ID：2608.26091v1
作者：Nabaraj Subedi, Shuvo Dip Datta, Ahmed Abdelaty, Shivanand Venkanna Sheshappanavar
发布时间/更新时间：2026-08-26（具体时间戳见原文）
URL：https://arxiv.org/abs/2608.26091v1
PDF：https://arxiv.org/pdf/2608.26091v1