知识卡片：FlowAct-R2：通过流式多模态参考与主动智能体规划超越说话头像

一句话结论

FlowAct-R2 是一个交互式人形视频生成框架，摘要称其将流式多模态参考扩散 Transformer 与主动交互智能体耦合，支持实时 720p 生成与小时级流式输出，面向娱乐直播、直播购物、视频聊天和直播 vlog 等场景。

事件概述或研究问题

该工作来自 arXiv 论文《FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning》。标题中的“Beyond Talking Avatar”指向超越传统会说话头像的目标：一方面接受持续更新的多模态参考与流式音频、动作提示，另一方面在直播式交互中引入主动智能体规划。材料未明确给出形式化研究问题，相关内容待核实。

方法/产品要点

组件一：Streaming Multimodal Reference Diffusion Transformer。它改造预训练的 Seedance 2.0 Mini reference-to-video 骨干，使其接受滚动动作提示、流式音频以及动态更新的图像、音频和视频参考。
该组件使用 video-driven rotary positional embeddings 将参考块与生成时间线对齐；通过 reference-plus-image conditioning 和 partially noised historical motion frames 保持外观并避免累积漂移。
组件二：Proactive Interaction Agent。它将在线前规划与在线调度和响应分离：提前准备人设、长时程议程和可复用多模态技能，然后在直播会话中自动调度行为、回应观众输入并处理打断。
摘要声称支持 real-time 720p generation 和 hour-scale streaming；具体延迟、吞吐、硬件需求和模型规模未在材料中给出，待核实。

主要结果或产业意义

材料未提供定量实验结果、基线比较、消融研究或用户研究。摘要声称 FlowAct-R2 在娱乐直播、直播购物、视频聊天和直播 vlog 中支持实时 720p 生成与小时级流式输出。若该能力成立，其产业意义在于把虚拟人从被动口型/头像生成推进到可长时运行、可响应观众、可主动调度的直播式交互人形视频生成。相关性能与部署可行性待核实。

为什么重要

FlowAct-R2 的重要性在于把两类通常分开的能力放在同一框架中：流式多模态参考控制下的视频生成，以及主动交互智能体的规划、调度与响应。这可能为直播虚拟人、交互式客服、带货主播和视频聊天代理提供新的系统组合思路。与既有 M⁴World 卡片相比，本条增量在于聚焦人形视频与主动交互规划，而非驾驶场景、LiDAR 点云或物体级操控；与 QANTA 2026 任务特定多模态问答智能体、多轮长程规划蒸馏卡片的关系，材料未显示直接延续或引用，待核实。

与既有脉络的关系

与 M⁴World：同属交互式、长时流多模态生成方向，但模态、场景和输出不同。FlowAct-R2 关注人形视频生成、流式多模态参考和主动智能体规划。
与 QANTA 2026 任务特定多模态问答智能体：材料未显示直接延续、比较或引用关系，待核实。
与 多轮长程规划的物理——从预训练到后训练的单教师与多教师在线策略蒸馏：材料未显示直接延续、比较或引用关系，待核实。

局限与不确定性

所给材料仅含摘要与元数据，未提供实验数据、评测指标、基线、消融、用户研究或伦理评估。
“实时 720p 生成”和“小时级流式”的具体延迟、吞吐、显存、成本与稳定性待核实。
Seedance 2.0 Mini 的来源、许可、可复现性及访问条件待核实。
主动交互智能体在直播场景中的安全、合规、观众隐私、内容风险与中断处理效果待核实。
是否经过同行评审、是否有代码/项目页/demo、是否有机构合作信息，材料未给出，待核实。

可用于图书/PPT/简报的角度

从“会说话头像”到“主动直播代理”的演进案例。
流式多模态参考如何影响长时人形视频的一致性与可控性。
分层智能体设计：在线前规划与在线调度/响应分离。
长时生成中的漂移治理：位置嵌入、参考条件、历史运动帧。
应用场景：娱乐直播、直播购物、视频聊天、直播 vlog。

原始材料

英文标题：FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning
英文关键词（据材料提取）：interactive humanoid video generation; Streaming Multimodal Reference Diffusion Transformer; Seedance 2.0 Mini reference-to-video backbone; rolling action prompts; streaming audio; dynamically updated image/audio/video references; video-driven rotary positional embeddings; reference-plus-image conditioning; partially noised historical motion frames; Proactive Interaction Agent; pre-online planning; online scheduling and response; persona; long-horizon agenda; reusable multimodal skills; real-time 720p generation; hour-scale streaming; entertainment streaming; live shopping; video chatting; live vlogging
原始来源：
- arXiv 摘要页：https://arxiv.org/abs/2609.35728v1
- PDF：https://arxiv.org/pdf/2609.35728v1
- arXiv ID：2609.35728v1
- Authors：Ziyao Huang, Zhengkun Rong, Shiyang Qin, Shuang Liang, Wentao Hu, Yuxuan Luo, Yuan Zhang, Mingyuan Gao
- Published：2026-09-28T17:50:47Z
- Updated：2026-09-28T17:50:47Z
- Primary category：cs.CV
- Categories：cs.CV
- Track：academic
- Topics：foundation-model