Skip to content

[feat] agent: 支持 H3 专业分镜编译、工程分镜连续性审计、视频多帧质检预览与单镜局部返工 #338

Open

Description

@BeatSeat

目标与范围

面向 #107、#191、#261 与 #263 的多镜头成片质量闭环,解决当前 Agent 缺乏 MiniMax-H3 专业分镜词表与引用序号约束、asset.preview 预览视频仅截取首帧导致无法观测运动状态或中后段崩坏、多镜编排缺少跨镜头角色锚点与节奏同质化审计,以及单镜瑕疵返工容易波及整条时间线的问题。本次交付 H3 分镜语法编译与校验、工程级 storyboard.audit 查询、视频多帧 Contact Sheet 预览与客观测量事实,以及时间线单镜无损替换与内置 h3-shot-director 技能;不引入独立工作流账本或破坏既有项目存储契约。

用户流程与关键规则

  • 提供 MiniMax-H3 标准景别、12 类运镜词及自然英文幅度/速度编译与语法校验,覆盖 t2va、i2va、fl2va、l2va、ref2va 五种模式、17n+5 潜变量帧网格换算,以及与 fasth3.native_prompt 一致的 <Picture N> / <Video N> / <Audio N> 序号映射(含带音轨参考视频优先占用前序 <Audio N> 槽位规则),并对多镜方案执行景别与运镜防同质化检查。
  • 扩展 asset.preview 查询(默认保持 videoScope="first_frame" 向后兼容),支持 videoScope="contact_sheet" 对工程内已验证视频 assetId 在受控预览目录生成带秒数标签的网格拼图,并返回确定性 measuredFacts(帧间像素变化度与疑似全程静帧告警、黑场帧比例、首尾采样帧相似度、音轨状态与 17n+5 对齐信息),明确区分客观测量事实与 Agent 创作质量判断。
  • 新增只读查询 storyboard.audit(通过 HTTP /queries、Agent query 与 CLI opendirector video audit-storyboard 共用),直接读取 ProjectSnapshot 中的画布分组、时间线与视频配置,检查跨镜头 Subject 角色/音色锚点缺失、首尾帧与续写上游就绪度、在线提示词引用序号一致性、序列同质化问题,并汇总试拍门控与预估时长。
  • 扩展 opendirector video CLI 支持首尾帧与续写节点创建、提示词编译/校验、镜头质检,以及 video revise-shot 按 clipId 或上游画布节点 inputConnections 血缘在 expectedVersions 乐观锁下局部替换单个时间线片段,保留其余镜头顺序、裁剪区间与音轨。

实现影响

  • 拟新增领域与媒体模块 packages/core/src/opendirector/domain/h3_cinematography.py、packages/core/src/opendirector/media/shot_inspection.py、应用审计模块 packages/core/src/opendirector/application/creation_storyboard.py 及内置技能 packages/agent/skills/h3-shot-director/。
  • 调整 packages/core/src/opendirector/domain/creation/commands.py、packages/core/src/opendirector/application/creation_assets.py、packages/core/src/opendirector/application/creation_canvas.py、apps/api/src/opendirector_api/creation.py、packages/core/src/opendirector/agent/tools.py 与 packages/core/src/opendirector/cli.py。
  • 同步重新生成 src/contracts/creation.schema.json 与 src/contracts/generated.ts,更新中英文 CLI 指南 docs/guides/cli.md。

验收标准

  • H3 五种模式提示词编译与校验同后端实际引用传输序号一致,可准确拦截伪参数标签、单镜正反矛盾运镜、超时长预算与多镜连续同质化问题。
  • asset.preview 在 videoScope="contact_sheet" 下按工程 assetId 生成带时间戳网格预览图并返回确定性 measuredFacts,默认 first_frame 行为与只读素材边界保持不变。
  • storyboard.audit 能基于真实工程快照识别未绑定共享 Subject 的孤立镜头、缺失上游关键帧或过长续写链、时间线未关联片段,并输出试拍门控就绪汇总。
  • video revise-shot 支持按片段 ID 或上游镜头血缘局部替换单个时间线片段,其余片段、入出点与轨道编排完全保留,版本冲突时按乐观锁拒绝。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:canvasCanvas, nodes and direct manipulationarea:timelineTimeline, subtitles and export

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions