知识卡片：HOMIE：通过多模态智能增强的人类-物体中心视频个性化

英文标题: HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement
英文关键词: foundation-model, subject-driven video generation, multimodal large language model, human-object interaction, personalization

一句话结论

HOMIE 提出统一处理主体间（inter-subject）和主体内（intra-subject）输入设置的人类-物体中心视频个性化框架，通过更好的多模态大语言模型（MLLM）集成策略，在保持文本编码器可控性的同时提取引用级关系知识，在多种 HOCVP 任务上达到当前最优性能。

事件概述或研究问题

人类-物体中心视频个性化（HOCVP）是主体驱动视频生成的核心任务。现有方法存在两个关键局限：

主体间个性化：在追求高主体保真度与准确交互模式之间难以平衡，尤其是当物体为抽象概念（如Logo）时；
主体内引用：虽然主体内参考（如OCR图、多视角输入）预期能增强保真度，但现有工作缺乏理解这种潜在对应关系的机制。

HOMIE 旨在同时解决上述两个问题，并以统一框架处理两种输入设置。

方法/产品要点

统一框架：同时处理 inter-subject 和 intra-subject 输入，无需为不同设置单独设计。
MLLM 集成策略：在Self-Attention中引入全局多模态引导（global multimodal guidance），使MLLM导出的语义特征与VAE token更好地对齐，同时不牺牲文本编码器的可控性，也不引入昂贵的重新对齐成本。
模态引用嵌入（modality-reference embedding）：区分来自MLLM特征和VAE token的token，并将主体内参考图像token关联起来，从而利用主体内引用信息。
不依赖OCR图或多视角输入的具体实现：待核实（摘要未说明是否实际使用了OCR/multi-view输入作为示例，但框架设计可接受此类输入）。

主要结果或产业意义

实验验证：HOMIE 在多种HOCVP任务上达到state-of-the-art性能（具体指标和数据集待核实）。
产业意义：可应用于个性化视频生成（如将特定人物与特定物体/Logo进行交互的视频创作）、虚拟化身、广告定制等场景，提升主体一致性与交互真实感。

为什么重要

解决了现有方法在人物-物体交互生成中保真度与交互准确性的矛盾，特别是抽象物体（Logo）的细粒度控制。
统一了以往被分开处理的主体间与主体内引用设置，为视频个性化提供了更通用的解决方案。
提供了一种轻量级的MLLM集成方式，避免了对整个文本编码器进行微调或重新对齐的计算开销。

局限与不确定性

对MLLM输出的语义特征与VAE token的对齐效果依赖于MLLM本身的性能，模型泛化到未见过的抽象概念可能仍有局限（待核实）。
帧间时序一致性（如物体运动轨迹、光照变化）未在摘要中明确讨论，需查阅全文确认。
实验仅在特定HOCVP任务上报告SOTA，未说明与其他主流主体驱动视频生成方法的全面对比。
项目页面显示代码和模型可能尚未开源（待核实）。

可用于图书/PPT/简报的角度

“统一框架”视角：用一个框架同时处理两种个性化输入设置，体现系统设计与复用性。
“MLLM赋能生成”：展示如何将大规模多模态模型作为知识注入源，提升视频生成中的引用级关系理解。
“人-物交互的细粒度控制”：从Logo等抽象物体切入，说明保真度与交互模式平衡的重要性。

与既有脉络的关系

已有相关卡片（HumanForge、角色感知联合训练、MV-Forcing）分别涉及深度伪造检测、物理一致性和多视角视频生成。本卡片聚焦于人物-物体交互的个性化视频生成，是主体驱动生成领域中对“交互模式”与“保真度”双重约束的专门探索，与已有脉络在任务设定上不同。

原始材料

arXiv URL: https://arxiv.org/abs/2607.18217v1
PDF URL: https://arxiv.org/pdf/2607.18217v1
项目页面: https://yiyangcai.github.io/homie-page.github.io/