Skip to content

feat: optimize V4.1 CP communication and indexer balancing - #1143

Closed
xuxl1008 wants to merge 1 commit into
mindspore-ai:masterfrom
xuxl1008:feat/v41-cp-optimization
Closed

xuxl1008 wants to merge 1 commit into
mindspore-ai:masterfrom
xuxl1008:feat/v41-cp-optimization

Conversation

@xuxl1008

@xuxl1008 xuxl1008 commented Oct 13, 2026 •

Copy link
Copy Markdown
Contributor

Paired: GitHub #1143 ↔ GitCode !1762

本 PR 优化 DeepSeek V4.1 的上下文并行通信,支持自然长度的 packed 文档,并增加可选的 Indexer 任务均衡。目标分支为 master。

基于已合入 #1068 融合适配的最新 master(f95e4528),当前分支仅保留一个独立 CP 提交,不再携带旧融合前置提交。保留 master 的 Q-only teacher、辅助 loss 接线、重计算选择缓存及共享 bank 写入保护。

主要改动:

  • SWA raw KV 默认用 all_to_all_v 交换同文档左侧 halo,保留 all_gather 对照。反向将重叠消费者的梯度 SUM 回 owner。
  • main_kv_comm、index_k_comm 独立支持 all_gather(默认)和 all_to_all_v。main KV 分发原 Q owner 所需的文档因果前缀;Index K 分发原 owner 的 KL 与均衡 worker 的 LI 需求并集,同一目的 rank 的同一文档只发送最长所需前缀。Full/Reindex/Reuse 复用对应共享 bank。
  • Index K 前向保留 worker/owner 需求并集,反向只返回 owner KL 使用的区间,排除无梯度选择任务额外请求的行。BF16/FP16 dK 在源 owner 用 FP32 累加后转换回原 dtype,网络 payload 保持原 dtype。
  • 自然文档按各自起点分组压缩,尾部不足一个压缩组的 token 保留在 raw/SWA 中,不与下一篇文档混合。跨 CP 边界的完整组归最后一个 token 的 owner,交换少量边界行后压缩。compact K 采用独立文档/owner offsets;支持空压缩 bank、非等长 K shard、SMLA 的 raw/compact 双坐标。原始 Q 仍是连续等长 CP shard。
  • Indexer 支持 none、zigzag、greedy、hybrid。hybrid 由显式文档长度阈值和最小 zigzag 片段阈值共同选择长文档,保留完整头尾配对片段;开头余数与其余文档进入同一个 greedy 池,共享每 worker 不超过 2*local_Q 的容量预算。
  • 负载均衡交换低秩 qr、merge weights 和原始 RoPE 参数,在接收端展开 Index Q,TopK 返回原 owner。自有任务旁路网络,main attention、teacher、KL 保持原 owner 布局。保持逻辑全局 TopK 宽度和无效槽位,恢复全局 TopK ID 后供下游使用。
  • 公共异步 all-gather backward 由全量 all-reduce 后切片改为 SUM reduce-scatter,保持原 dtype/缩放。保留 launch/wait 分离;本次没有加入反向延迟等待或两批 LI 流水。
  • packed 计划、压缩块、任务与路由按几何缓存;zigzag 直接推导本 rank 路由,greedy 用最小堆分配,区间查找跳过无关文档。缓存不保存当前 step 的 bank 值、TopK 或通信 work。
  • 兼容 master 的选择缓存:重计算排除区域覆盖完整任务分发、LI 与 TopK 返回,不单独重放半段通信;共享 bank 的重计算不覆盖原前向发布的状态。

在已有 SharedCompressedDSAAttention replacement 中配置:

replace_module:
  _target_: hyper_parallel.components.modules.shared_compressed_dsa_attention.SharedCompressedDSAAttention
  use_fused_ops: true
  swa_comm: all_to_all_v
  main_kv_comm: all_gather       # 可独立设置为 all_to_all_v
  index_k_comm: all_to_all_v     # 默认 all_gather
  indexer_load_balance: hybrid  # none / zigzag / greedy / hybrid
  indexer_balance_block_size: 2048
  indexer_zigzag_min_length: 131072
  indexer_zigzag_min_chunk_size: 1024

两项 zigzag 阈值是 hybrid-only 的显式正整数,上例为配置示例,不是通用性能最优值。indexer_balance_block_size 用于 greedy/hybrid,默认 2048 个原始 Q 行,必须为正整数且不大于 local Q;none/zigzag 必须省略。hybrid 的完整 zigzag 片段不再按这个 block size 二次切分。一个共享 Index K source 的所有消费者必须采用相同通信和均衡配置。

精度检查覆盖 r1/r2、Full/Reindex/Reuse、多共享源、packed、短文档和空压缩 bank:

对照 已完成结果
自然文档、压缩块与路由 整数 oracle 检查文档隔离、压缩 owner、peer splits、原始/紧凑坐标及所有真实 Q 的无重复覆盖
Index K AG/A2AV,CPU CP8 六层链、3 步 AdamW 原有对照中输出、输入梯度和 TopK 逐位一致;参数梯度最大绝对差 1.99e-12,更新后参数最大绝对差 3.73e-9
Index K AG/A2AV,NPU CP4,统一 FP32 SUM 参考 原有三种均衡方式、四类文档、3 步 AdamW 对照中,输出、输入梯度、TopK 逐位一致;参数梯度最大 relative-L2 2.37e-5
本轮发布代码:CPU CP8、NPU CP4,六层链、2 步 AdamW ragged、owner-empty、hybrid-mix 三类文档,比较全量反向与仅 owner KL 反向;输出、TopK、输入/参数梯度、参数及 AdamW 状态全部逐位一致
master 选择缓存专项,CPU/Gloo CP4 none/zigzag/greedy/hybrid × r1/r2,重计算开关共 64 个 rank-case;结果与梯度逐位一致,选择及均衡通信在每个 checkpoint 中只执行一次
现有单测 本轮相关模块/模型 36 项 UT 通过;未新增门禁测试,未修改公共测试启动器或日志

上述 AG 的“统一 FP32 SUM”只在验证 driver 中设置,产品公共 AG 仍保持原 dtype。原生 BF16 RS 与 A2AV owner 累加顺序不同,跨通信路径多步训练不承诺逐位一致。跨均衡布局时,worker 投影 GEMM 形状、LI 并列项也可能改变临界 TopK;通信精度对照固定相同的任务布局。上述误差是实测记录,不是新增验收容差。

Index K 反向优化的独立 CP8 实测(1M、r2、单次 dispatch 前反向,非整模型):

文档/均衡 原反向 → owner-only,ms 额外峰值 allocated,MiB
单文档 2.100 → 1.979 400 → 288
16×64K,hybrid 1.070 → 0.344 112 → 48
16×64K,zigzag 1.899 → 0.339 372 → 144

实际宽度六层 attention 链、64K、CP8 的前反向加参数 SUM 为 1109.175 → 1108.587 ms,峰值约 18810 MiB,不构成显著整步加速证据。低秩 qr 交换的收益也需连同接收端投影、pack/unpack、启动和同步成本评估。

普通因果 r1/r2 与 TP=1 的均衡路径已覆盖;candidate pool、分页 Index K、新 block 交换搜索和新的 overlap 调度不包含在本次 CP 提交。完整模型 FSDP+CP 的长稳以及 1M/大 CP 整步收益仍需另测。

2026-10-20 基线整理复核:独立 CP patch 在 rebase 前后 git range-diff 一致;现有相关 44 项 UT、CPU/Gloo CP8 六层共享链 2 步 AdamW(ragged、owner-empty、hybrid-mix)通过,全量/owner-only 反向的输出、TopK、输入及参数梯度、参数与 optimizer 状态逐位一致;CPU/Gloo CP4 选择缓存 64 个 rank-case 通过。此前 NPU 数据保持原实验范围,本次没有新增 NPU 性能结论。新的 overlap 与 Engram CP 优化在独立工作分支,不包含在本 PR。

拆分进展(2026-10-22):本 PR 的代码提交暂时保留为完整对照;新增异步调度已按功能放入以下个人 fork 草稿,尚未写入本 PR 的 head。前置自然文档修复 #1250 合入后,再按 A → B → C 依次迁移到主仓 master。

Engram halo、分页 Index K、融合接收/TopK 恢复、融合 owner reduce 和后置 block 交换继续保留在本地,不包含在上述三个拆分提交。

@xuxl1008
xuxl1008 marked this pull request as ready for review October 13, 2026 02:43
@xuxl1008
xuxl1008 force-pushed the feat/v41-cp-optimization branch 4 times, most recently from d1fb8e3 to c781723 Compare October 16, 2026 08:30
Exchange SWA halos and optional document-causal compressed KV prefixes
with differentiable all-to-all-v. Reduce async all-gather gradients with
SUM reduce-scatter and reuse packed sequence routing plans.

Add optional zigzag and greedy Indexer task allocation using low-rank
query residuals. Default greedy blocks to 2048 original query rows and
reject explicit block sizes outside greedy mode.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant