Skip to content

feat: optimize V4.1 partial RoPE and fix runtime validation - #1405

Open
xuxl1008 wants to merge 1 commit into
mindspore-ai:masterfrom
xuxl1008:feat/v41-runtime-partial-rope
Open

xuxl1008 wants to merge 1 commit into
mindspore-ai:masterfrom
xuxl1008:feat/v41-runtime-partial-rope

Conversation

@xuxl1008

@xuxl1008 xuxl1008 commented Oct 31, 2026 •

Copy link
Copy Markdown
Contributor

Paired: GitHub #1405 ↔ GitCode !1939

问题与改动

本 PR 在已合入 #1250、#1299 的 master 上整理两项改动:修复 V4.1 裁剪模型的 runtime 验收误报,并为 V4.1 增加可选的 partial RoPE 融合前向。

1. 按实际模型结构确定 runtime 验收要求

model_integration.mode: runtime 会检查训练中共享状态的发布与消费。原来的 V4.1 描述固定要求 candidate pool 的发布/消费以及 Reindex 对 Index K 的消费;四层裁剪模型关闭 candidate pool 后只有 Full/Reuse,正确的前反向和 optimizer step 也会因这些不存在的角色被判为失败。重计算包装后的 attention/Engram 也可能被模块类型检查误判。

  • 为 SharedStateValidationSpec 增加可选的模型级要求解析函数,在执行前根据最终模型配置确定 producer/consumer keys;其他模型的静态描述保持原行为。
  • 根据实际保留的层数、压缩率、KV/Indexer source 和 candidate source 确定 V4.1 的检查项,并核对模块属性与配置一致。真正缺失的 Indexer 不会被当成“无需验证”。
  • 模块结构检查识别 activation-checkpoint 包装内的实际模块。
  • 保留共享状态缺失、先消费后发布、重复发布等错误检查;本改动不关闭 runtime 验收,不修改训练 loss 或 candidate 算法。

2. 可选的 partial RoPE 融合前向

V4.1 只旋转每个 head 的尾部通道。原实现会对该切片执行转换、乘加、相邻维度旋转和拼接;大 local Q 下,中间张量读写及 kernel 启动开销较大。

  • 增加 partial_rotary_mul,使用官方 cann_ops_transformer.inplace_partial_rotary_mul,按 BSND 存储直接处理尾部 rotary 通道。
  • 原生入口会原地写入,因此先创建私有输出,避免修改调用者输入、共享张量或 SAC 保存的 GEMM 结果。
  • 反向保留 Torch 实现以及原实现两条分支分别转换回低精度后再相加的顺序。这里不依赖原生 partial-RoPE grad 算子,也不改变 BF16 GEMM 的形状或确定性设置。
  • 开关覆盖主 Q、输出逆 RoPE、raw/compressed KV、owner/worker Index Q 和 Index K;压缩容器为空时保持连通的空梯度,不发起不支持的空 kernel 调用。
  • 缺少原生入口或输入不满足适配条件时显式报错。依赖和使用说明补充在 functional README。

配置

在 V4.1 attention replacement 中设置,默认关闭,与三类 attention/Indexer/KL 融合入口开关和 Indexer 均衡策略相互独立:

plan_overrides:
  - match: "model.layers.*.self_attn"
    module_type: hyper_parallel.models.deepseek_v41.modeling_deepseek_v41.DeepseekV41Attention
    replace_module:
      _target_: hyper_parallel.components.modules.shared_compressed_dsa_attention.SharedCompressedDSAAttention
      use_fused_ops: true
      use_fused_rope: true

额外依赖为 inplace_partial_rotary_mul 原生算子及匹配的 Python 扩展入口。未开启时不加载该可选依赖。runtime 修复不需要开启此开关。

精度与验证

  • 相关 CPU 回归:99 项通过(2026-11-02 rebase 后复跑)。覆盖动态/静态验收要求、真实错误保留、裁剪层角色、开关接线、缺依赖以及 RoPE 反向的舍入和存储保护。门禁 UT 不要求安装该原生算子。
  • Ascend 910B3、torch-npu 2.10:48 组 FP16/BF16/FP32、BSND/BNSD、正/逆旋转及空张量组合的输出和输入梯度与原实现零容差一致;8K/16K 主 Q 形状也进行全张量零容差检查。
  • SAC 保存 GEMM 输出的重计算检查:启用/关闭融合、启用/关闭重计算时,输出、输入梯度和权重梯度均零容差一致,未修改缓存输入。
  • NPU/HCCL CP4 六层 attention 链:覆盖 SWA、r2/r1 的 Full/Reindex/Reuse、奇数文档、空压缩 bank 和实际稀疏 TopK,分别验证 none/greedy。在原生确定性 level 1 下运行两步 AdamW,启用/关闭 RoPE 融合的输出、TopK、全量梯度、更新后参数与优化器状态逐值一致。
  • 非确定性设置下也做了同权重前向和原始基线重复对照:首步输出和 TopK 一致;参数更新后基线自身存在重复运行差异,因此不将非确定性多步结果描述为逐位一致。性能测量使用非确定性设置。
  • runtime 修复在此前的八卡裁剪完整 Trainer 验证中已跑通 CP4/EP2/FSDP shard2、真实图文数据的 10 个优化步骤,loss/grad norm 有限、共享状态验收通过。本次在新分支复核了相关 CPU 回归;上述完整 Trainer 结果不代表开启 partial RoPE 后的完整模型训练验证。

局部性能

Ascend 910B3,BF16,BSND 主 Q 为 [1, local_Q, 64, 512],旋转尾部 64 维。每种实现预热 2 次、测量 5 次取中位数,包含适配与输出分配;前后向时间包含对应梯度计算。

local Q 原前向 / ms 融合前向 / ms 原前后向 / ms 融合前后向 / ms 前后向耗时下降
8K 5.58 1.51 8.59 4.47 48.0%
16K 11.38 2.87 18.17 9.66 46.8%

局部前后向额外峰值 allocated 在 8K/16K 分别约增加 4/8 MiB,来自扩展后的旋转系数等适配开销。以上是 RoPE 局部结果,不作为完整 40 层训练 step 的加速比例。

2026-11-02 更新

已 rebase 到 master 4144bb242f1a,保留上游新增的 checkpoint/HF 权重加载测试。门禁构建 #1309 的失败项为测试中循环变量闭包触发的 Pylint W0640;已用绑定本轮返回值的 mock 替换该 lambda,没有修改生产计算、容差或禁用检查。相关四个 CPU UT 文件共99项通过;Pylint 3.3.7 使用门禁同源规则和仓库既有过滤规则后无错误。原有 NPU 精度和性能数据的测量范围保持不变,本轮未重新测量 NPU 性能。

@xuxl1008

Copy link
Copy Markdown
Contributor Author

/retest

1 similar comment
@xuxl1008

Copy link
Copy Markdown
Contributor Author

/retest

@xuxl1008

Copy link
Copy Markdown
Contributor Author

/check-pr

@xuxl1008

Copy link
Copy Markdown
Contributor Author

/retest

@mindspore-ai-bot

Copy link
Copy Markdown

Gate trigger failed: please fix the /check-pr findings and obtain the pr-check-pass label before retrying.

@xuxl1008

Copy link
Copy Markdown
Contributor Author

/check-pr

@xuxl1008

Copy link
Copy Markdown
Contributor Author

/retest

@mindspore-ai-bot

Copy link
Copy Markdown

🔵 The pipeline #1309 is running. Please wait a moment... (Link)

@mindspore-ai-bot

Copy link
Copy Markdown
Project Name Build_Stage Build Result Details
Hyper-parallel_Github_Gate - ❌ FAILURE 1309
Check_Pylint FAILURE 1309

@mindspore-ai-bot

Copy link
Copy Markdown

@xuxl1008, your gate pipeline failed at the code check stage. You can configure some code check tools locally following the (pre-push quick guide), to enable automatic checking when you push your code every time. Tools included are: Check_CMakelint, Check_Codespell, Check_Cpplint, Check_Lizard, Check_Pylint, Check_ClangFormat, Check_ShellCheck.

@xuxl1008
xuxl1008 force-pushed the feat/v41-runtime-partial-rope branch from e236def to ab0dd04 Compare November 2, 2026 14:42
@xuxl1008

xuxl1008 commented Nov 2, 2026

Copy link
Copy Markdown
Contributor Author

/check-pr

@xuxl1008

xuxl1008 commented Nov 2, 2026

Copy link
Copy Markdown
Contributor Author

/retest

@mindspore-ai-bot

Copy link
Copy Markdown

🔵 The pipeline #1355 is running. Please wait a moment... (Link)

@mindspore-ai-bot

Copy link
Copy Markdown
Project Name Build_Stage Build Result Details(Full/Incremental) Detail
Coverage Line Coverage ✅ SUCCESS 73%/74% Link

@mindspore-ai-bot

Copy link
Copy Markdown
Platform Type Module Excution Time Time Limit
- optimizer 284.544s 300.0s
- activation_memory 119.20037s 120.0s
- shard 208.832s 300.0s
- auto_models 103.151s 150.0s
- pipeline_parallel 637.519s 600.0s
- swap_optimizer 321.624s 300.0s
- dtensor 81.877s 120.0s
- fully_shard 341.738s 600.0s
- multicore 114.2985s 120.0s
- accuracy 84.402s 120.0s
- llama3_examples 72.296s 120.0s
- clip_grad 93.029s 120.0s
- tensor_parallel 240.614s 300.0s
- context_parallel 88.661s 120.0s
- process_group 75.213s 90.0s
- init_weights 96.076s 118.75s
- distributed_checkpoint 76.392s 120.0s
- expert_parallel 156.082s 120.0s

@mindspore-ai-bot

Copy link
Copy Markdown
Project Name Build_Stage Build Result Details
Hyper-parallel_Github_Gate - ✅ SUCCESS 1355

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants