Skip to content

feat: optimize V4.1 CP bank communication and async scheduling - #2

Draft
xuxl1008 wants to merge 1 commit into
prep/v41-natural-document-basefrom
feat/v41-cp-bank-communication
Draft

xuxl1008 wants to merge 1 commit into
prep/v41-natural-document-basefrom
feat/v41-cp-bank-communication

Conversation

@xuxl1008

Copy link
Copy Markdown
Owner

本 PR 将 V4.1 的 SWA/main KV 通信从完整 KV all-gather 扩展为按需分发,并将普通 CP 路径的通信发起与消费分开。

这是 mindspore-ai#1143 的拆分 A,前置为自然文档修复 mindspore-ai#1250。当前在个人 fork 上以集成基线分支为 base,便于只评审本阶段;前置合入后再迁移至主仓 master。原 mindspore-ai#1143 暂时保留作完整对照。

主要修改:

  • swa_comm 默认 all_to_all_v,仅交换同文档左侧窗口 halo,保留 all_gather 对照;反向将消费者贡献 SUM 回原 owner。
  • main_kv_comm 支持 all_gather(默认)与 all_to_all_v;后者分发 owner 所需的文档因果前缀,SMLA/teacher/KL 同时适配紧凑 bank 的物理起点。
  • 复用自然文档计划与 raw/main 路由缓存,支持 r1/r2、空 owner、空压缩 bank 及 Full/Reindex/Reuse。
  • 普通 CP 路径先发 Index K,再发 main K,main Q 展开位于通信发起之后,bank 在真实消费点 wait。Index K 本阶段仍为全局 all-gather,不迁移 query 任务。
  • 公共 _AsyncAllGatherWait.backward 从全量 all-reduce 后取本地片段改为 SUM reduce-scatter,保持原 dtype 和缩放;仍等待归约完成后返回梯度,未引入反向延迟等待。

配置沿用同一 replacement:

replace_module:
  _target_: hyper_parallel.components.modules.shared_compressed_dsa_attention.SharedCompressedDSAAttention
  use_fused_ops: true
  swa_comm: all_to_all_v
  main_kv_comm: all_gather  # 可切换 all_to_all_v

验证:22 项现有模型/attention UT;CPU/Gloo CP8 六层共享链,两步 AdamW,四类自然文档,raw AG/halo × main AG/prefix 的输出和梯度通过默认 FP32 容差,TopK 无变化,输出最大绝对差 2.384e-7、参数梯度 2.910e-10。公共 async AG 的 4 个 gather 维度和非连续输入共 32 条 CP8 记录与手工 SUM 梯度零容差一致。NPU/HCCL CP4 中,两种 bank 配置的原时序/新时序对照共 64 条 rank-case,输出、TopK、梯度、参数与 AdamW 状态逐位一致。

本轮复用已有测试及本地分析 driver,未新增仓库测试,未修改公共启动器和日志。没有新的整模型性能结论。git diff --check、复杂度检查通过;其余变更文件 pylint 通过,公共 collectives.py 的 5 条年份/原生 Torch 导入诊断在未修改基线上同样存在,未通过改规则隐藏。

后续 B 才加入 Indexer 任务均衡,C 才加入 Index K 前缀分发;Engram、分页 K、融合通信预处理/后处理及 block 交换不在本 PR。

@xuxl1008

Copy link
Copy Markdown
Owner Author

/retest

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant