Skip to content

Commit 45b4971

Browse files
authored
Merge pull request #185 from NumberWan/knowledge/aura-omni-rules
knowledge: Aura-Omni duplex rules after vllm-omni #7633
2 parents f8f8642 + db8f5f2 commit 45b4971

2 files changed

Lines changed: 245 additions & 38 deletions

File tree

Lines changed: 81 additions & 38 deletions
Original file line numberDiff line numberDiff line change
@@ -1,49 +1,92 @@
11
---
22
title: "Aura-Omni(4-stage 语音助手组合管线)"
33
created: 2026-07-21
4-
updated: 2026-07-21
4+
updated: 2026-09-23
55
type: index
6-
tags: [vllm-omni, models]
7-
sources: [vllm_omni/model_executor/models/aura_omni/, vllm_omni/deploy/aura_omni.yaml, vllm_omni/config/pipeline_registry.py]
6+
tags: [vllm-omni, models, model-executor, serving]
7+
sources:
8+
[
9+
"PR #7633",
10+
vllm_omni/model_executor/models/aura_omni/,
11+
vllm_omni/model_executor/models/aura_omni/duplex/,
12+
vllm_omni/model_executor/stage_input_processors/aura_omni.py,
13+
vllm_omni/deploy/aura_omni.yaml,
14+
vllm_omni/config/pipeline_registry.py,
15+
examples/online_serving/aura_omni/aura_omni_duplex_smoke.yaml,
16+
docs/user_guide/examples/online_serving/aura_omni.md,
17+
tests/model_executor/stage_input_processors/test_aura_omni_duplex_history.py,
18+
tests/engine/duplex/test_session_runner.py,
19+
]
20+
confidence: high
821
---
922

1023
# Aura-Omni
1124

12-
以下事实在 `main @ 5d44868e` 复核(源码派生页,尚无本模型的运行经验沉淀)。
13-
14-
## 名称与范围
15-
16-
- 正式名称 Aura-Omni(AURA 语音助手管线;无其他别名有据,**无变体**);
17-
pipeline key `aura_omni`。AR registry 架构
18-
`AuraQwen3VLForConditionalGeneration`
19-
→(`aura_omni`, `qwen3_vl`, `AuraQwen3VLForConditionalGeneration`)。
20-
- 源码:`vllm_omni/model_executor/models/aura_omni/`(仅 3 个文件——本家族
21-
以**组合**为主,只有 stage 1 有家族自有模型代码)。
22-
- 依赖共享模块:qwen3_tts 家族的 talker/code2wav 与其 stage 处理器
23-
([qwen3-tts](../qwen3-tts/_index.md))、[Configuration](../../components/configuration/architecture.md)。
24-
25-
## 结构与 serving
26-
27-
- 4 stage:Qwen3-ASR(LLM_AR, 文本)→ AURA/Qwen3-VL(LLM_AR, 最终文本)→
28-
Qwen3-TTS talker(LLM_AR, latent, stop 2150)→ `Qwen3TTSCode2Wav`
29-
(LLM_GENERATION, 音频)。stage 2–3 直接复用 qwen3_tts 的
30-
`talker2code2wav_*` 处理器;家族自有处理器 `asr2aura`/`aura2tts`
31-
(`stage_input_processors/aura_omni.py`)。
32-
- `qwen3_vl.py` 是 config 兼容 shim:AURA checkpoint 经 `auto_map` 带远程
33-
`Qwen3VLConfig`,`get_hf_config` 接受结构兼容的远程 config,
34-
`get_hf_processor` 强制上游 `Qwen3VLProcessor`(checkpoint 缺少其声明的
35-
`processing_qwen3_vl.py`)。
36-
- deploy `vllm_omni/deploy/aura_omni.yaml`:**尾部家族中唯一 pin 了
37-
checkpoint 的**——Qwen/Qwen3-ASR-1.7B + aurateam/AURA +
38-
Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice;全部 GPU 0;`async_chunk: false`
39-
(ASR→AURA→TTS 语义依赖);stage2→3 SharedMemoryConnector 码流 +
40-
`decode_cudagraph_capture_sizes`;NPU 覆盖 stage 2 `enforce_eager`。
41-
- 注意:`AURA_OMNI_PIPELINE.model_arch="Qwen3ASRForConditionalGeneration"`
42-
不在 `_OMNI_MODELS`,依赖上游 vLLM `_VLLM_MODELS` 合并解析(pin 上未验证
43-
上游确实注册该架构)。
25+
事实在合入 [PR #7633](https://github.com/vllm-project/vllm-omni/pull/7633)
26+
(merge `62b15142bdab8c80eb83473f65e51774d1a2521b`,2026-09-21)后的 upstream
27+
`main` 复核。硬门禁在同目录 `rules.md`(见下表);本页留名称、部署分叉与
28+
reviewer 陷阱。
29+
30+
## 名称、源码与部署
31+
32+
- 正式名称 Aura-Omni(AURA 语音助手管线);pipeline key `aura_omni`。
33+
- Stage1 AR:`AuraQwen3VLForConditionalGeneration`(在 Omni `_OMNI_MODELS`)。
34+
- 源码:`model_executor/models/aura_omni/`(`pipeline.py`、`qwen3_vl.py` shim、
35+
**`duplex/`**);桥 `stage_input_processors/aura_omni.py`。
36+
- 共享 owner:[Qwen3-TTS](../qwen3-tts/_index.md)(尾段 Talker/Code2Wav)、
37+
[Model Executor](../../components/model-executor/_index.md)、
38+
[Serving](../../components/serving/_index.md)、
39+
[Configuration](../../components/configuration/_index.md)。
40+
41+
## Reviewer 陷阱(先读再改)
42+
43+
- **`async_chunk` 分叉**:`deploy/aura_omni.yaml` 默认 **`false`**(非 duplex)。
44+
Realtime duplex 用 `examples/online_serving/aura_omni/aura_omni_duplex_smoke.yaml`
45+
(或等价)且必须 **`true`**,否则 Stage2→3 codec 交不出去。详情跟
46+
[Q3TTS-3a](../qwen3-tts/rules.md),
47+
不要在本页重写 codec。
48+
- **Talker stop `2150`** 仍属 TTS 家族(duplex smoke Stage2 `stop_token_ids`);
49+
改 stop/humming 边界先查 [qwen3-tts rules](../qwen3-tts/rules.md)。
50+
- **Pipeline 顶层 arch**:`AURA_OMNI_PIPELINE.model_arch="Qwen3ASRForConditionalGeneration"`
51+
**不在** Omni `_OMNI_MODELS`,靠上游 vLLM 模型表合并——**仍成立**,不是已删除的
52+
过时警告。Stage1 才是 `AuraQwen3VLForConditionalGeneration`。
53+
- **Stage2→3**:默认 SharedMemoryConnector 码流;合同在 Q3TTS,不在本页展开。
54+
- **Silent id**:duplex plugin 钉 **v1** `151669`(companion `151645`);AURA_v2
55+
streaming 另一套(如 `248070`/`248046`)——混用会 pad 到 `max_tokens`(AURA-1f)。
56+
- **History**:空字+有 clip+silent **会入史**;成对删除只在 **prune 剥 video 之后**
57+
(AURA-1e)。勿倒推成「silent VF 永不入史」。
58+
- **报表暖机**:OmniInteract/同类 streaming 量测前跑完整 `0001` session、报表排除
59+
`0001`,是 **bench/运维约定**,**不是** upstream API 合同,也不是本目录 RULE
60+
(无 in-tree CI job 强制)。勿写成「#7633 已证明暖机语义」。
61+
62+
## 结构(一句话)
63+
64+
四段:ASR → AURA Thinker → Talker → Code2Wav;duplex 经 `/v1/realtime?duplex=1`。
65+
`qwen3_vl.py` 为 checkpoint config/processor shim。用户文档:
66+
`docs/user_guide/examples/online_serving/aura_omni.md`。
4467

4568
## 什么时候查这里
4669

47-
- 审查 aura_omni 拓扑、config shim 或 stage 复用改动;qwen3_tts 侧行为变化会
48-
直接影响本家族 stage 2–3。
49-
- 新模型注册点清单见 [adding-a-model](../../components/configuration/adding-a-model.md)。
70+
- 审查 AURA 拓扑、duplex plugin、Stage1 投影/metrics、AURA barge-in fence、
71+
SessionHistory 入史/sole-writer/`prompt_mm`、silent 家族、`VLLM_AURA_*` env、
72+
默认 yaml vs duplex `async_chunk`。
73+
- 尾段 codec/async chunk/decoder → [qwen3-tts](../qwen3-tts/_index.md)。
74+
- 共享 duplex session lifecycle → [serving](../../components/serving/_index.md)。
75+
76+
## 不放什么
77+
78+
- 本机绝对路径、GPU 编号、演示端口、私有 handoff 长文。
79+
- MiniCPM native duplex/Code2Wav window/`generate_chunk`/1030ms video 合同
80+
([minicpm-o-4-5](../minicpm-o-4-5/_index.md))。
81+
- Qwen3-TTS Stage2–3 codec 合同正文(只 link Q3TTS)。
82+
- OmniInteract 操作 runbook/报表步骤(非 RULE;见上文「报表暖机」一句)。
83+
- 共享 Realtime serving(wire defaults、`session.update` ACK 等)→
84+
`components/serving`。
85+
86+
## 目录内容
87+
88+
| 遇到什么 | 查看哪里 | 说明 |
89+
|---|---|---|
90+
| 可审计硬门禁 | [rules](rules.md) | `AURA-1a` … `AURA-1i` |
91+
| Talker/Code2Wav/async chunk | [qwen3-tts rules](../qwen3-tts/rules.md) | `Q3TTS-3*` |
92+
| 新模型注册清单 | [adding-a-model](../../components/configuration/adding-a-model.md) | 配置组件 |
Lines changed: 164 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,164 @@
1+
---
2+
title: "Aura-Omni 规则"
3+
created: 2026-09-23
4+
updated: 2026-09-23
5+
type: rule
6+
tags: [vllm-omni, models, model-executor, serving]
7+
sources:
8+
[
9+
"PR #7633",
10+
vllm_omni/model_executor/models/aura_omni/duplex/plugin.py,
11+
vllm_omni/model_executor/models/aura_omni/duplex/history.py,
12+
vllm_omni/model_executor/models/aura_omni/duplex/data_plane.py,
13+
vllm_omni/model_executor/models/aura_omni/duplex/capabilities.py,
14+
vllm_omni/model_executor/models/aura_omni/pipeline.py,
15+
vllm_omni/model_executor/stage_input_processors/aura_omni.py,
16+
vllm_omni/engine/duplex/session/runner.py,
17+
vllm_omni/config/environment_variable_inventory.py,
18+
vllm_omni/deploy/aura_omni.yaml,
19+
examples/online_serving/aura_omni/aura_omni_duplex_smoke.yaml,
20+
docs/user_guide/examples/online_serving/aura_omni.md,
21+
tests/engine/duplex/test_session_runner.py,
22+
tests/model_executor/stage_input_processors/test_aura_omni.py,
23+
tests/model_executor/stage_input_processors/test_aura_omni_duplex_history.py,
24+
tests/model_executor/models/aura_omni/duplex/test_aura_plugin_contract.py,
25+
tests/config/test_environment_variables.py,
26+
]
27+
confidence: high
28+
---
29+
30+
# Aura-Omni 规则
31+
32+
只有 `AURA-<数字字母>` 是可审计规则 ID。共享 duplex serving 见
33+
[Serving session lifecycle](../../components/serving/rules-session-lifecycle.md);
34+
Stage2–3 async codec/decoder 合同见 [Qwen3-TTS Q3TTS-3a…](../qwen3-tts/rules.md),
35+
**本页不重写 codec**。
36+
37+
AURA-1e 因 Omni 尚未接线 Native 同名旋钮,单独视为 medium 证据强度。
38+
39+
## Direct 代码快速入口
40+
41+
| PR / 审查信号 | 规则 | 第一批源码 |
42+
|---|---|---|
43+
| 四段拓扑、`async_chunk`、默认 vs duplex yaml | AURA-1a | `pipeline.py::AURA_OMNI_PIPELINE`;`deploy/aura_omni.yaml`;`examples/online_serving/aura_omni/aura_omni_duplex_smoke.yaml` |
44+
| Stage1 投影不消费 TTS | AURA-1b | `duplex/plugin.py::{project_intermediate_output,decide_output}` |
45+
| 投影后仍 stash Stage1 metrics | AURA-1c | `engine/duplex/session/runner.py::{on_stage_output,_stash_stage_metrics}`;`tests/engine/duplex/test_session_runner.py::test_projected_stage1_metrics_reach_the_spoken_audio_event` |
46+
| barge-in fence/draining abort | AURA-1d | `runner.py` barge-in/`older_abort_ids`;`duplex/capabilities.py` |
47+
| 入史三 case/裁剪 default/断线清 store | AURA-1e | `duplex/history.py::{begin_user_turn,commit_turn,prune,render_prefix}`;`duplex/history.py::drop_session_history`;`tests/.../test_aura_omni_duplex_history.py` |
48+
| silent stop id 家族 | AURA-1f | `duplex/plugin.py::AURA_SILENT_TOKEN_ID` |
49+
| history 单一写入者 | AURA-1g | `plugin.py::commit_model_context`;`aura_omni.py::asr2aura`(只 `begin_user_turn`) |
50+
| `prompt_mm` pad 与 video 对齐 | AURA-1h | `aura_omni.py::asr2aura`/`_aura_prompt`;`history.py::render_prefix`/`retained_videos` |
51+
| `VLLM_AURA_*` inventory | AURA-1i | `environment_variable_inventory.py`;`tests/config/test_environment_variables.py` |
52+
53+
## AURA-1a — 四段组合管线不得把 AURA 当成单 stage 模型
54+
55+
- 触发:注册、部署或审查 `aura_omni` / AURA 语音助手入口。
56+
- 强制:拓扑为 Stage0 Qwen3-ASR → Stage1 AURA Thinker → Stage2 Talker →
57+
Stage3 Code2Wav。家族桥 `asr2aura`/`aura2tts`;尾段复用 qwen3_tts。
58+
Realtime duplex 入口 `/v1/realtime?duplex=1` + `AuraDuplexPlugin`。
59+
- 强制:`deploy/aura_omni.yaml` 默认 **`async_chunk: false`**。Duplex 必须用
60+
`aura_omni_duplex_smoke.yaml`(或等价)且 **`async_chunk: true`**。Stage2→3
61+
async delta/decoder 生命周期合同跟 [Q3TTS-3a](../qwen3-tts/rules.md)/
62+
[Q3TTS-3b](../qwen3-tts/rules.md),
63+
本规则不另写 codec。
64+
- 注意:`AURA_OMNI_PIPELINE.model_arch="Qwen3ASRForConditionalGeneration"` **不在**
65+
Omni `_OMNI_MODELS`,依赖上游 vLLM 模型表合并;Stage1
66+
`AuraQwen3VLForConditionalGeneration` 才在 Omni 表内(仍成立,非已过时)。
67+
- 禁止:单 stage 化 AURA;把 MiniCPM native duplex/Code2Wav window/
68+
`generate_chunk=26` 合同抄进本页;自写一套 Stage2–3 codec 规则替代 Q3TTS。
69+
- 验收:in-tree — pipeline/deploy 展开四段;duplex smoke yaml 含
70+
`async_chunk: true`。**未证明** — 本条不声称 AURA duplex 音质或 GPU E2E
71+
已绿(MiniCPM duplex E2E 不证明 AURA)。^[PR #7633]
72+
73+
## AURA-1b — Stage1 中间投影不得消费 TTS 路径
74+
75+
- 触发:修改 `project_intermediate_output`、`decide_output`、或 runner 对
76+
projected stage 的消费/截断。
77+
- 强制:Stage1 `project_intermediate_output=True`:文本可投影到 WS,**不
78+
consume、不截短** Stage2/3。Silent 走 `decide_output`。
79+
- 禁止:投影即 consume;listening 误开 spoken audio turn。
80+
- 验收:in-tree — `tests/model_executor/models/aura_omni/duplex/test_aura_plugin_contract.py`
81+
(投影/silent 决策)。**未证明** — 实权重多轮音质。^[PR #7633]
82+
83+
## AURA-1c — 投影的 Stage1 仍必须 stash engine stage metrics
84+
85+
- 触发:修改 `on_stage_output`/`_stash_stage_metrics`,或 Stage1 TTFT/TPOT
86+
报表路径。
87+
- 强制:`project and not consume` 时仍 `_stash_stage_metrics`。
88+
- 禁止:只在纯 pass-through stash;把 Stage0 指标标成 Stage1。
89+
- 验收:in-tree —
90+
`test_projected_stage1_metrics_reach_the_spoken_audio_event`。^[PR #7633]
91+
92+
## AURA-1d — barge-in 必须清理 cancel fence,并仍 abort 旧 draining TTS
93+
94+
- 触发:修改 AURA/共享 runner 上与 AURA concurrent turn 相关的 barge-in、
95+
`cancel_fence`、`abort_ids`、资源释放。
96+
- 强制:当前 cancel fence 完整 cleanup(`abort=True` 弹 `request_states`);
97+
draining 旧 Stage2/3 仍 abort;资源释放只用 **`older_abort_ids`**(不在本次
98+
`cancelled_ids` 内),避免误 release 新 turn。
99+
- 禁止:`release_resources_for_request_ids(全部 abort_ids)`;去掉 draining
100+
abort;把本条写成 MiniCPM native duplex/共享 serving 的通用修法(共享
101+
lifecycle 进 serving 组件页)。
102+
- 验收:in-tree — duplex session runner barge-in/stale-epoch 相关 CPU 测试。
103+
**未证明** — 多模型 draining 交互若红 MiniCPM step,应开 serving 规则,不
104+
扩写本 ID。^[PR #7633]
105+
106+
## AURA-1e — SessionHistory 入史三 case + Native 默认裁剪(medium)
107+
108+
- 触发:修改 `history.py`、`commit_model_context`、vision-follow/proactive
109+
入史,或暴露 history 长度旋钮。
110+
- 强制(commit 三 case,互斥):
111+
1. 空 transcript + **有 clip** + silent → **入账**,占 video 名额;
112+
2. 空 transcript + **无 clip** + silent → **整轮不入**;
113+
3. **prune 后**(video 已剥、user 仍空、assistant silent/空)→ 才 **成对删除**。
114+
成对删除是 prune 后果,不是 commit「silent VF 不入史」。
115+
- 强制:两帧→一轮 video、单一 `<|video_pad|>`。
116+
- 强制:裁剪 **默认** 对齐 Native
117+
`MAX_VIDEO_ROUNDS`/`NUM_VIDEO_ROUNDS_TO_REMOVE`/`MAX_ROUNDS_CONVERSATIONS`
118+
(默认 45/30/999)。数字是 default。Omni 字段已有、**旋钮尚未接线**;日后
119+
接线必须镜像同名语义。
120+
- 强制:断线/close 调用 `drop_session_history(session_id)` 清 `_STORE`。
121+
- 禁止:把「成对丢弃」写成 commit 硬核;把 45/30 写成不可配置合同;每帧独立
122+
history 轮。
123+
- 验收:in-tree — `test_aura_omni_duplex_history.py`、plugin contract 的
124+
history/`drop_session_history`。**未证明** — env/config 旋钮接线(尚未实现)。^[PR #7633]
125+
126+
## AURA-1f — `<|silent|>` stop id 必须与 checkpoint 家族一致
127+
128+
- 触发:配置 silent/stop token,或 v1↔v2 checkpoint 混用。
129+
- 强制:duplex plugin **v1** `AURA_SILENT_TOKEN_ID = 151669`(companion 如
130+
`151645`);AURA_v2 streaming 用另一套(公开约定 `248070`/`248046`),不得
131+
把 v1 常量抄到 v2 serve。
132+
- 禁止:错 id → silent 不 stop → pad 到 `max_tokens`。
133+
- 验收:in-tree — plugin stop/silent 检测单测。**未证明** — 全权重矩阵。^[PR #7633]
134+
135+
## AURA-1g — SessionHistory 单一写入者
136+
137+
- 触发:修改 `commit_model_context`、`aura2tts`、`aura_tts_partial`、或任何
138+
Stage1 history commit。
139+
- 强制:仅 `AuraDuplexPlugin.commit_model_context` → `commit_turn` 写 assistant。
140+
`asr2aura` 只 `begin_user_turn`;`aura2tts`/sentence-TTS partial **禁止**再
141+
commit(含已删的 `commit_duplex_stage1_history`)。
142+
- 禁止:`[user, assistant, assistant]`;partial 入史。
143+
- 验收:in-tree — history/plugin contract 角色交替。^[PR #7633]
144+
145+
## AURA-1h — `prompt_mm` 的当前 user pad 数必须与当前 clip 对齐
146+
147+
- 触发:修改 `asr2aura` 的 `history_prefix`/`prompt_mm`/`multi_modal_data["video"]`,
148+
或 `render_prefix` 的 pad 布局。
149+
- 强制:`history_prefix` 已为每个仍带像素的历史 clip 写一个 `<|video_pad|>`。
150+
传给 `_aura_prompt` 的 `prompt_mm` 对**当前 user 串**只带当前 clip(有则
151+
`[current]`,无则去掉 video)→ 当前串只再加 **一个** pad。引擎侧
152+
`multi_modal_data["video"]` 可为 `retained + current`,但不得把全列表双计进
153+
当前 user 字串 pad。
154+
- 禁止:`pad 个数 ≠ 当前应绑定 video 项` → 错位/crash。
155+
- 验收:in-tree — `test_aura_omni*`/duplex history 覆盖「有 prior 时当前串仍
156+
单 pad」。^[PR #7633]
157+
158+
## AURA-1i — 新增 `VLLM_AURA_*` 必须进入 inventory 与 snapshot 计数
159+
160+
- 触发:引入或重命名 AURA 专用环境变量(如 `VLLM_AURA_SENTENCE_TTS*`)。
161+
- 强制:登记 `environment_variable_inventory` 模型内化集,并同步
162+
`tests/config/test_environment_variables.py` 分类计数。
163+
- 禁止:只读 env 不登记。
164+
- 验收:in-tree — inventory/snapshot 计数测试绿。^[PR #7633]

0 commit comments

Comments
 (0)