HyperParallel 面向昇腾超节点提供分布式并行加速能力。针对资源池化、对等架构、分层网络拓扑和 FP8 低精度格式等特点,框架覆盖从集群分布式并行到芯片内多核并行,并支持 CPU DRAM 与 NPU HBM 池化管理、拓扑感知调度、通信路径规划和 FP8 混合精度训练。
-
模型与系统优化解耦:HyperParallel 将并行、重计算和 Offload 等系统优化从模型代码中分离,并通过声明式接口注入模型;并行范式覆盖集群 SPMD、集群 MPMD 和芯片内多核 MPMD,面向大语言模型和多模态模型训练。
-
兼容 Hugging Face 生态:HyperParallel 支持直接读取 Hugging Face 模型配置和预训练权重,并复用 Transformers 中已有的模型实现;模型创建后,由 HyperParallel 以声明式方式将并行、重计算和算子替换等分布式逻辑注入模型。
-
全流程确定性:HyperParallel 支持计算、通信、数据预处理和随机数等环节的确定性,并对已支持模型进行 bitwise 对齐验证。确定性模式可能带来性能开销,但有助于复现训练结果、发现 SDC 和定位问题。
-
动静混合:静态图有利于通算并发、内存分析和执行序编排,但完整动转静对模型语法和编译能力要求较高。HyperParallel 在动态图基础上支持受约束的局部动转静。
- [Oct. 15, 2026]: DeepSeek-V4.1-Flash 模型支持
- [Oct, 9, 2026]: moonshotai/Kimi-K2.6 模型支持
- [Aug. 25, 2026]: Qwen/Qwen3-30B-A3B 模型支持
详细能力与在研进展见模型路线图。
| 模型 | 示例配置 / 文档 |
|---|---|
| Qwen3 | 模型入口 |
| Qwen3-MoE | recipes |
| Qwen3-VL-MoE | 模型适配 |
| Qwen3.5 Dense | 模型入口 |
| DeepSeek-V3 | recipes |
| DeepSeek-V3.2 | recipes |
| DeepSeek-V4.1 | 文本配置 · 多模态配置 |
| Kimi-K2.6 | recipes |
| openPangu-2.0 | 代码仓 |
完整安装方式、源码构建参数和环境要求见 安装指南。
运行仓库提供的单机 8 卡训练示例 hyper_parallel/models/qwen3_moe/recipes/train.yaml:
torchrun --standalone --nproc_per_node=8 \
scripts/train_lm.py hyper_parallel/models/qwen3_moe/recipes/train.yaml附加命令行参数可按 YAML 字段路径覆盖配置值,无需修改配置文件:
torchrun --standalone --nproc_per_node=8 \
scripts/train_lm.py hyper_parallel/models/qwen3_moe/recipes/train.yaml \
--model.pretrained_model_name_or_path=/path/to/model \
--training.train_iters=10字段定义与解析规则见 训练配置与组件。
以下示例在数据并行 DeviceMesh 上应用 fully_shard,实现模型参数分片:
from hyper_parallel import fully_shard, init_device_mesh
dp_mesh = init_device_mesh("npu", (dp_size,), mesh_dim_names=("dp",))
model = fully_shard(model, mesh=dp_mesh)TP、CP、EP、PP 等组合方式见 特性使用指南,公开接口见 API 参考。
- 文档中心 — 文档索引与导航
- 训练配置与组件 — TrainerConfig 字段、模块结构与组件文档入口
- 安装指南 — 源码构建、依赖安装
- 特性使用指南 — 并行与训练能力指南
- API 参考 — 按特性模块组织的接口说明
- FAQ 与故障排查 — 常见问题与解决方案
- AI 辅助开发 — AI 辅助开发说明
- 社区贡献 — 贡献流程、测试、评审和版本发布
- 版本说明 — 版本变更记录
欢迎提交 Issue 和 Pull Request。开发环境、测试、评审和社区发布流程见社区贡献指南。
如果对 HyperParallel 的技术方向感兴趣,欢迎加入 Parallel Training System SIG。
扫描下方二维码加入 Parallel Training System SIG 微信交流群,与社区开发者交流使用经验、技术方案和项目进展。
扫描下方二维码关注 HyperParallel 小红书账号(小红书号:hyperparallel),获取技术博客与实践分享。
- HyperParallel-FSDP: Topology-Aware Fully Sharded Training with Layout-Driven Muon on Ascend SuperPods [paper]
- HyperParallel-Mpipe: A Composable Algebra System for Optimizing MLLM Training over Supernode Clusters [paper]
- HyperParallel-MoE: Multi-Core Interleaved Scheduling for Fast MoE Training on Ascend NPUs [paper]
- HyperParallel: A Supernode-Affinity AI Framework [paper]
- HyperOffload: Graph-Driven Hierarchical Memory Management for Large Language Models on SuperNode Architectures [paper]
感谢以下合作伙伴与项目的出色工作和支持:


