知识卡片：SenseNova-U1.5：迈向原生统一视觉智能

一句话结论

SenseNova-U1.5 是一个 8B-MoT 原生统一多模态模型，在 encoder-free 和 VAE-free 架构中统一视觉理解、推理与生成；摘要称其在图像保真度、文字渲染、复杂构图、多参考编辑和交错生成等任务上取得进展，并计划开源 SFT、RL 和 on-policy distillation 训练代码。

事件概述或研究问题

• 原始英文标题：SenseNova-U1.5: Towards Native Unified Visual Intelligence。
• 研究问题：探索 native unified modelling，使系统能在完全端到端框架中“感知、推理、创造”，而不是依赖分离式的视觉编码器/VAE 管线。
• 论文信息：arXiv:2609.11929v1，主分类 cs.CV，发布/更新时间为 2026-09-10T17:59:55Z；作者包括 Haiwen Diao 等，完整作者列表见原始来源。
• 主题与轨道信息：Track: academic；Topics: foundation-model。
• 模型定位：8B-MoT native unified multimodal model，能够理解、推理并生成视觉内容。

方法/产品要点

• 架构：encoder-free 和 VAE-free；8B-MoT 中的 MoT 具体定义未在摘要中展开，具体含义待核实。
• 视觉接口：通过 spatially coherent patch reconstruction 强化。
• 训练扩展：使用筛选后的生成与编辑数据；改进任务表述；结构提示增强；原生分辨率最高 4K。
• 后训练：为视觉美学、双语文字渲染、信息图生成、图像编辑优化专门专家；通过 multi-expert on-policy distillation 整合能力。
• 开源计划：将开源训练代码，包括 supervised fine-tuning、reinforcement learning、on-policy distillation。

主要结果或产业意义

• 摘要称，在广泛评测中，SenseNova-U1.5 在图像保真度、文字渲染、复杂构图、多参考编辑、交错生成方面取得较大进展。
• 同时改善指令遵循，并保持主体身份、几何结构和未修改区域。
• 尽管生成数据中结构化格式曝光有限，模型仍能泛化到长、复杂、结构化视觉指令；作者据此认为多模态理解可迁移到视觉规划与创作。
• 产业潜在意义：可能推进统一多模态内容生成/编辑、双语文字渲染、信息图生成、原生 4K 视觉创作系统；开源训练代码或有利于复现与研究。具体基准、指标、对比结果和代码可用性待核实。

为什么重要

• 本条与既有卡片“可扩展的视觉预训练用于语言智能”都涉及视觉在模型能力扩展中的角色，但增量在于：本条不是用视觉文档提升语言智能，而是主张在一个原生统一、无编码器/无 VAE 的端到端模型中统一视觉理解、推理与生成。与“MM-ToolSandBox”“ergoCub”卡片无明显直接延续或更新关系。
• 如果摘要结论成立，native unified modelling 可能减少对外部视觉模块和分离式生成管线的依赖，并让多模态理解能力直接服务于视觉规划与创作。
• 开源 SFT、RL、on-policy distillation 训练代码的计划，可能对统一多模态模型的复现、训练配方比较和工程落地有参考价值。

局限与不确定性

• 本卡片仅依据 arXiv 摘要和元数据，摘要未提供具体评测基准、数值结果、对比基线、消融实验和统计显著性；无法确认“largely advances”的幅度与条件。
• 8B-MoT 的定义、参数构成、路由/专家机制等未在摘要中说明，待核实。
• 训练数据规模、来源、授权、语言覆盖、筛选标准、结构提示增强细节待核实。
• 4K 原生分辨率的具体支持范围、生成稳定性、速度与资源需求待核实。
• 多专家 on-policy distillation 的专家数量、训练流程、损失设计和效果归因待核实。
• 开源范围目前仅称 training code；是否开源模型权重、数据、评测代码及许可证待核实。
• 原始材料标注发布日期为 2026-09-10；该日期与当前可访问状态、版本状态待核实。

可用于图书/PPT/简报的角度

• “从分离式多模态到原生统一多模态”：用 encoder-free/VAE-free 作为对比传统编码器+VAE 管线的切入点。
• “理解即规划，规划即创作”：多模态理解迁移到视觉规划与创作的案例。
• “后训练专家整合”：视觉美学、双语文字、信息图、图像编辑四类专家，再用 on-policy distillation 合并能力。
• “4K 原生分辨率与结构化视觉指令”：面向长而复杂的视觉生成任务。
• “开源训练栈”：SFT、RL、on-policy distillation 三件套对研究复现的意义。
• 注意：本卡片基于摘要，PPT 引用具体数字前需回查论文正文与评测表格。

原始材料

• English Title: SenseNova-U1.5: Towards Native Unified Visual Intelligence
• English Keywords（原文未列出关键词字段；以下为据标题/摘要保留的英文术语）: native unified multimodal model; encoder-free; VAE-free; 8B-MoT; spatially coherent patch reconstruction; native resolutions up to 4K; bilingual text rendering; infographic generation; image editing; multi-expert on-policy distillation; interleaved generation.
• Authors: Haiwen Diao, Jiahao Wang, Chenjing Ding, et al.（完整作者列表见原始来源）
• arXiv ID: 2609.11929v1
• Primary category: cs.CV
• Categories: cs.CV
• Published/Updated: 2026-09-10T17:59:55Z
• Abstract URL: https://arxiv.org/abs/2609.11929v1
• PDF URL: https://arxiv.org/pdf/2609.11929v1