PANORAMA 面向“全景接地图文描述”(Panoptic Grounded Captioning)任务,要求视觉语言模型同时描述前景对象与背景区域,并把每个指代短语接地到像素级掩码;它通过从短语条件化的掩码提案池中选择匹配掩码,并与字幕生成联合训练,在 PanoCaps 基准上取得最佳整体 grounding。
值得关注:与给定已有卡片无直接延续或更新关系;本条补充的增量信息是:VLM 的像素级 grounding 正从单纯生成描述,扩展到覆盖前景与背景的全景接地图文描述。 评价方式上,gPQ 试图同时衡量文本与掩码一致性,而不只评估单…