AI消息速览

LingBot-Vision 1.0——边界中心的稠密空间感知视觉基础模型

事件日期 2026-09-30 · 产业观察 · 已接受

事件日期2026-09-30
信息日期2026-09-30
入库日期2026-09-30
通道产业观察
状态已接受
来源technology.robbyant.com

知识卡片:LingBot-Vision 1.0——边界中心的稠密空间感知视觉基础模型

一句话结论

LingBot-Vision 1.0 的官网技术页把“边界中心自监督”推进为可量化系统:以 1B 参数 ViT-g/16 在 NYUv2 深度 RMSE 上取得 0.296,超过 7B 参数 DINOv3 的 0.309,并给出蒸馏家族、边界 token 时序追踪与迁移到 LingBot-Depth 2.0 的具体结果。

事件概述或研究问题

材料是 Robbyant 官网的 LingBot‑Vision Vision Foundation Model 页面,Manual title 为 LingBot-Vision 1.0。页面提出的问题是:稠密空间感知对 physical intelligence 很关键,但现代视觉基础模型常优先语义不变性,牺牲细节空间理解;能否用 boundary-centric 视角和 masked boundary modeling 学习边界与形状不连续线索,提升几何属性感知?发布日期、作者列表、训练数据来源与规模、训练算力、开源许可等材料未说明,待核实。

与既有脉络的关系

已有相关卡片已概括 LingBot-Vision 的边界中心自监督定位、无预训练骨干/人工标注/外部边缘检测器,以及在深度、分割、视频目标分割和 LingBot-Depth 2.0 编码器初始化上的领先。本条不重复这些总体判断,只补充官网技术页披露的增量:1B ViT-g/16 主模型、具体 benchmark 数值、S/B/L/g 蒸馏家族、4096-token 高分辨率特征、边界 token 时序追踪演示,以及 LingBot-Depth 2.0 的数据规模与 RMSE 细节。

方法/产品要点

  • 核心方法:masked boundary modeling;不使用预训练骨干、人工标注或外部边缘检测器,在线学习 sub-pixel boundary representations,并把发现的 boundary-bearing tokens 作为 masked targets 做 dense visual token learning。
  • 主模型规模:1B-parameter ViT-g/16。
  • 边界 token:在线发现,紧密贴合物体轮廓、胡须、线缆、屏幕边缘等;每个 token 携带 sub-pixel boundary field。冻结特征余弦相似度查询可点亮对应结构。
  • 时序追踪:首帧选查询后,仅用冻结 patch features 的余弦相似度逐帧追踪,无微调、无时序监督;静态结构保持不动,物体查询可跟随大姿态变化,响应保持选择性。
  • 高分辨率推理:同一冻结特征可直接扩展到 4096-token grid,PCA 图保留胡须、线缆、地砖图案等细结构。
  • 蒸馏家族:S / B / L / g 学生模型,面向不同部署预算。
  • LingBot-Depth 2.0:深度补全建模为 masked depth modeling(MDM),把编码器初始化从 DINOv2 换为 LingBot-Vision,覆盖 ViT-L/16 与 ViT-g/16;RGB-D 训练语料从 3M 扩到 150M 样本。

主要结果或产业意义

  • 主模型:NYUv2 depth RMSE 0.296,页面称整体最佳,优于 7B DINOv3 的 0.309,参数少约 7 倍。
  • 视频:冻结特征、training-free 条件下,DAVIS / YouTube-VOS J&F 为 70.0 / 73.5;页面称在所有非 DINOv3 模型中最佳,超过视频预训练的 V-JEPA 2.1。
  • 分割:页面称与 distilled DINOv3 ViT-H+ 相当,Cityscapes 79.6,VOC12 87.5,且由单一自监督目标从零预训练。
  • 蒸馏:0.3B ViT-L 学生在 NYUv2 上为 0.310,接近 7B DINOv3 的 0.309,参数约少 23 倍;每个部署预算下,学生模型提供同类最佳深度精度,线性探针分类与最佳竞争模型相差约一个点。
  • LingBot-Depth 2.0:在相同 pipeline 下,LingBot-Vision 初始化在两个尺度上都是最强起点,例如 ViT-L 上 block-masked DIODE-Indoor RMSE 为 0.094,对比 DINOv2 的 0.152;数据增长时领先扩大。LingBot-Depth 2.0 在覆盖深度模式和相机类型的 14 个 benchmark 上领先,将 block-masked DIODE-Indoor RMSE 从 1.0 的 0.132 降到 0.062,并在透明物体深度补全这一主动深度传感经典失败场景上表现突出。
  • 页面强调深度补全的不确定性集中在物体边界和材质过渡,这正是边界锚定特征编码的结构。
  • 产业意义:更小参数获得强稠密感知,并通过蒸馏覆盖 S/B/L 部署预算;作为 encoder init 可提升深度补全,对机器人操作、透明/反光物体处理和具身智能感知有直接相关性。

为什么重要

它把“边界”从传统边缘检测/后处理角色,变成自监督表示学习的核心锚点;评测使用冻结特征上的线性探针或免训练标签传播,强调性能来自表示本身而非读出层。对产业而言,1B 模型对 7B 模型的稠密感知优势、以及 0.3B 蒸馏学生接近 7B 模型的结果,提示视觉基础模型存在“参数效率 + 边界结构先验”的路线。对 LingBot 系列而言,本条增量把视觉基础模型与 LingBot-Depth 2.0 的迁移链条量化了。

局限与不确定性

  • 页面未给出发布日期、作者列表、LingBot-Vision 训练数据来源与规模、训练算力、开源许可;Tech Report / Code / Hugging Face 的具体链接与开放范围待核实。
  • “best / leading / on par”等表述来自官方页面,第三方复现、评测协议、基线版本与统计显著性待核实。
  • DINOv3 7B 的具体版本和评测设置待核实。
  • 蒸馏家族并非所有指标全面领先:官网表格中 ViT-S 的 KITTI RMSE 为 3.784,高于同表 DINOv2 的 3.568 与 DINOv3 的 2.851;Cityscapes 为 64.34,低于同表 DINOv2 的 71.44 与 DINOv3 的 73.38。因此“每个部署预算最佳深度精度”主要按页面语境理解,不覆盖所有任务/指标。
  • 边界 token 追踪、透明/反光物体深度补全的演示来自特定视频、相机和场景,跨传感器、跨环境泛化性待核实。
  • LingBot-Depth 2.0 的 150M RGB-D 语料构建、清洗、偏置与合规情况待核实。

可用于图书/PPT/简报的角度

  • 从边缘检测器到自涌现边界 token:表示学习如何把“边界”变成可查询、可追踪的实体。
  • 小模型 vs 大模型:1B ViT-g/16 对 7B DINOv3 的稠密深度对比,以及 0.3B 蒸馏学生的部署意义。
  • 冻结特征评测法:线性探针与免训练视频标签传播,如何突出“表示质量”。
  • 视觉基础模型向深度补全迁移:编码器初始化 + 数据规模扩大如何复合收益。
  • 具身智能案例:透明/反光物体深度补全、机器人头部相机双机械臂操作演示。
  • 高分辨率细结构保持与边界 token 时序追踪:可用于讲解视频理解、机器人视觉和物理智能。
  • 参数-性能-任务矩阵:用官网表格做多模型多任务对比,但需标注官方来源与待复现。

原始材料

  • 英文标题:LingBot‑Vision Vision Foundation Model - Robbyant
  • 英文关键词:Masked boundary modeling; boundary-centric self-supervised vision foundation model; dense spatial perception; boundary tokens; sub-pixel boundary field; LingBot-Depth 2.0; distilled model family
  • 原始来源:https://technology.robbyant.com/lingbot-vision?robbyant_lang=en-US
  • Manual title:LingBot-Vision 1.0
  • Track:industry;Topics:ai-industry
  • 页面入口:Tech Report、Code、Hugging Face(具体 URL 与开放范围待核实)

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

它把“边界”从传统边缘检测/后处理角色,变成自监督表示学习的核心锚点;评测使用冻结特征上的线性探针或免训练标签传播,强调性能来自表示本身而非读出层。对产业而言,1B 模型对 7B 模型的稠密感知优势、以及 0.3B 蒸馏学生接近 7B 模型的结果,提示视觉基础模型存在“参数效率 + 边界结构先验”的路线。对 LingBot 系列而言,本条增量把视觉基础模型…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。