[DavidFFFan]

Paired: GitHub #102 ↔ GitCode !1774

What type of PR is this?

/kind feature

What does this PR do / why do we need it?

在 Torch-only master 上提供模型无关的 FakeTensor dry-run 逻辑显存仿真。

• 全部实现位于 hyper_parallel/tools/dryrun/，正常训练入口和业务模型不依赖 dry-run 配置。
• 入口为 python -m hyper_parallel.tools.dryrun config.yaml；支持单进程顺序仿真多个 rank，也支持 torchrun 按 dry_run.ranks 过滤 worker。
• dry_run 配置包含开关、目标设备、rank 列表、虚拟拓扑和 snapshot 子配置。
• snapshot.path 是输出根目录，自动生成 rank_<rank>/memory.pickle；不设置 output_dir 路径别名。
• MoE 强制均衡只解决 expert 选择；FakeTensor 仍无法提供 argsort permutation、host counts 和 value-sized slicing。已注册 handler 自动发现目标并默认 replay balanced 路径，不再要求用户配置 value_dependencies。
• 自定义算子通过 register_fake_op 即时注册，定义模块被 import 后立即生效，没有 op_plugins 开关。
• 兼容层集中管理 DTensor、FSDP、AutoModel、optimizer 和 CSA2 的 FakeTensor 差异；Muon storage alias 直接比较 untyped_storage() identity，不使用 FakeTensor 下无效的 data_ptr()。

Interface

dry_run:
  enabled: true
  target_device: npu
  ranks: [0, 7]
  virtual_world_size: 8
  snapshot:
    enabled: true
    path: outputs/dryrun/deepseek_v41
    capture_stacks: true
    stack_depth: 64

设计原理

• 复用正常模型构建、并行切分、首个 CPU batch、forward/backward 和 optimizer step。
• FakeTensor 只保留 shape/dtype/layout，不加载权重或执行设备计算。
• LogicalMemoryTracker 按 storage identity 追踪 allocation、alias、resize 和 release。
• 输出保持 PyTorch MemoryViz 兼容的 segments 和 device_traces，metadata 内嵌在 pickle 中。
• workspace、allocator 碎片、异步 stream 和通信库常驻内存不仿真。

完整设计已同步到 issue #610，并在 hyper_parallel/tools/dryrun/DESIGN.md 中维护。

Validation

• 定向回归：191 passed。
• 覆盖 DeepSeek V4.1、dryrun、DTensor、Muon 和配置解析。
• git diff --check、Python 编译检查和 AGENTS catalog 检查通过。

Closes #610

atomgit_repo: mindspore/hyper-parallel
atomgit_mr: 1059
source_branch: hyper-parallel-dry-run
source_url: https://gitcode.com/mindspore/hyper-parallel/merge_requests/1059

[CLAassistant]

All committers have signed the CLA.

[mxysfive]

或植入 DeepSeek 特判 --PR描述这个去掉。可以让AI在PR描述里补充一下Dryrun的用法。

[DavidFFFan]

/check-pr