AURA 1.0 project ↗研究资源 ↗

AURA 2.0

从用户驱动的回答到模型主动发起流式视频对话

持续观察视频流，在合适的时机主动发起对话，并结合工具和视觉定位进行交互。

Model-Initiated Conversation · Stream-Aware Tool Calling · Interactive Visual Grounding

探索 AURA 2.0 ↓背景：单项 Demo 画面
01 / IN THE MOMENT

Overview · 研究概览

PUBLIC BENCHMARKS

Benchmark Comparison · 基准对比

四项公开流式视频基准 · 数值越高越好

IPIBench持续视频流中的主动监测、任务管理，以及主动与被动请求交织时的交互三项报告 Avg 的平均值
22.93
AURA 2.0
(9B)
5.31
JoyAI-VL-
Interaction
(8B)
9.66
MOSS-VL-
Realtime
(11B)
3.93
VideoLLM-Online
(8B)
1.00
Flash-VStream
(7B)
StreamArena长视频流中的实时感知、历史回溯、主动交互和工具使用RTP、HR、Tool、Pro. 四项平均
21.08
AURA 2.0
(9B)
14.58
JoyAI-VL-
Interaction
(8B)
10.85
MOSS-VL-
Realtime
(11B)
14.13
MiniCPM-o 4.5
(8B)
4.63
ThinkStream
(3B)
ProactiveVideoQA视频模型主动交互，关注回答内容及回答时机四个数据集平均 · ω = 0.5
50.75
AURA 2.0
(9B)
36.95
JoyAI-VL-
Interaction
(8B)
47.18
MOSS-VL-
Realtime
(11B)
33.35
MMDuet
(7B)
23.55
VideoLLM-Online
(8B)
PhoStream移动场景中的流式视频理解与时间推理Overall 总分
65.69
AURA 2.0
(9B)
33.40
JoyAI-VL-
Interaction
(8B)
43.88
MOSS-VL-
Realtime
(11B)
12.34
VideoLLM-Online
(8B)
4.96
MMDuet2
(3B)

图表依据技术报告表 2–5。IPIBench、StreamArena 和 ProactiveVideoQA 的综合值由网页按标注方式计算，PhoStream 使用报告中的 Overall；StreamArena 中 MOSS 的 Tool 未报告，图中按 0 计。

02 / CORE CAPABILITIES

Core Capabilities · 核心能力

三项核心能力及其独立 Demo 展示位。

01

主动服务

Model-Initiated Conversation · MIC

观察 → 等待 → 适时回应

无需针对当前事件的用户提问，结合视频和已有对话，决定是否开口、何时开口以及讨论什么。

02

工具调用

Stream-Aware Tool Calling · SATC

意图→工具→结果

把需求转成工具选择与参数，并结合执行结果继续提供帮助。

03

视觉交互

Interactive Visual Grounding · IVG

目标物体“你面前的这一个”

将回应关联到画面中的具体对象与证据，明确“在说谁、指哪里”。

03 / DEMO GALLERY

Demo Gallery · 能力演示

单项能力与复合场景分别展示。

COMPOSITE DEMOS

复合能力场景

多项能力结合的场景演示

04 / METHOD

Method · 技术框架与训练方法

统一流式交互格式，逐步整合三项能力。

AURA 2.0 · streaming interaction framework
VIDEO STREAM持续视频流

逐块接收视觉信息

→
CONTEXT & MEMORY视频窗口 + 对话 + 记忆

结合当前观察与历史事件

→
RESPONSE CONTROL沉默 / 回应

判断是否及何时开口

↓ 主动对话 MIC↓ 工具调用 SATC↓ 视觉定位 IVG
01

长期交互记忆

将离开视觉窗口的重要历史信息整理为事件级摘要，并纳入后续交互上下文。

02

三阶段训练

从流式问答与工具使用出发，引入主动对话和定位，进一步训练能力组合。

03

响应控制

针对沉默与响应标记的不平衡使用 focal loss，其他监督 token 使用交叉熵。

05 / DATA CONSTRUCTION

Data Construction · 数据构造

流式数据构造与训练数据组成。

Training Data Composition · 训练数据构成

AURA 2.0 三个训练阶段的数据构成
各阶段样本构成 · 点击查看矢量原图

Data Construction Pipeline · 数据构造流程

AURA 2.0 视频预处理、流式数据生成、数据组装与验证流程
流式数据构造与验证 · 点击查看矢量原图
06 / EVALUATION

Evaluation · 评测与分析

从流式理解、主动对话、工具使用与视觉定位评估模型。

四项公开基准的对比仍单独展示。下面按时间轴展开主动对话、工具调用和视觉定位。

07 / OPEN RESEARCH

Resources & Citation · 资源与引用

Authors

  • Shuhan Li1,*
  • Huankang Guan1,*
  • Xintong Guo1,*
  • Yang Bo1,*,†
  • Yuyang He1,*
  • Dunyuan Xu1,*
  • Jingyan Chen1,*
  • Fang Liu1
  • Tsz Kin Wan1
  • Jinpeng Chen1,§
  • Zhenqi He1,3
  • Yuxuan Hu1,2
  • Wenbo Li1,2
  • Han Gao1
  • Qijun Li1
  • Long Chen3
  • Hongsheng Li2
  • Rui Liu1,‡
1 Huawei Research 2 CUHK MMLab 3 HKUST
* Equal Contribution † Project Lead ‡ Corresponding Author § The author is no longer affiliated with the primary affiliation.
BIBTEX · 模板 / 请勿作为正式引用
@misc{aura_v2_pending,
  title = {AURA 2.0},
  author = {Shuhan Li and Huankang Guan and Xintong Guo and Yang Bo and Yuyang He and Dunyuan Xu and Jingyan Chen and Fang Liu and Tsz Kin Wan and Jinpeng Chen and Zhenqi He and Yuxuan Hu and Wenbo Li and Han Gao and Qijun Li and Long Chen and Hongsheng Li and Rui Liu},
  year = {2026}
}

DEMO STORYBOARD · 实录待补充