知识卡片：视觉作为统一多模态生成

一句话结论
SenseNova-Vision 将计算机视觉任务统一表示为多模态生成问题，在单一模型中通过自然语言指令和视觉提示完成多种视觉任务，无需专用架构，且性能可匹配专用系统。

事件概述或研究问题
传统计算机视觉需要为不同任务（检测、分割、深度估计等）设计专用架构和预测头，缺乏统一性。本文提出将视觉任务形式化为统一多模态生成（Unified Multimodal Generation），让模型在文本和图像的原生生成空间中输出结果，从而将各类视觉能力整合到通用基础模型中。

方法/产品要点

• 框架：SenseNova-Vision 使用自然语言指令和可选的视觉提示来指定任务、目标区域/视图和解码约定，输出文本（符号输出）、图像（密集空间预测）或文本-图像混合（组合任务）。
• 数据集：构建 SenseNova-Vision Corpus，将多样化的视觉标注转换为指令-响应对，涵盖文本、图像和混合目标。
• 训练：基于现成的预训练统一多模态模型，主要在该语料库上训练，辅以其他多模态数据以保持能力，不需要任务特定的预测头或架构修改。
• 覆盖任务：检测、OCR、关键点估计、分割、深度估计、表面法线预测、点图、相机位姿估计；支持语言定义的变体（组合类别、颜色、区域等视觉线索）。

主要结果或产业意义
实验表明，单一统一模型在结构化视觉理解、密集几何预测、分割和多视图视觉几何等任务上能与领先的专用系统匹配。这为将计算机视觉能力集成到通用基础模型提供了可扩展的路线。模型和语料库已公开。

为什么重要
该工作简化了视觉任务的开发流程，无需为每个任务构建独立模块，推动视觉基础模型向通用智能体方向迈进，降低了工程和维护成本。

局限与不确定性

• 材料未提及在极端复杂场景（如遮挡严重、低光照）下的表现，待核实。
• 训练数据规模和具体任务细分性能对比细节未在摘要中充分展开，待核实。
• 模型生成图像的保真度和分辨率上限未说明，待核实。

可用于图书/PPT/简报的角度

• 统一多模态生成范式：一张图+一句话即可指挥模型完成检测、分割、深度估计等多种任务。
• 数据驱动：自动化构建百万级指令-响应对，无需人工逐任务标注。
• 从专用到通用：对比传统方法（N 个任务需 N 套架构）与统一模型（1 套架构）的效率和扩展性。

原始材料

• 英文标题：Vision as Unified Multimodal Generation
• 英文关键词：Unified Multimodal Generation, SenseNova-Vision, SenseNova-Vision Corpus, Foundation Model, Computer Vision
• 原始来源：arXiv:2607.06560v1, https://arxiv.org/abs/2607.06560v1