English | 简体中文
长期目标:以精简、可扩展的核心,支持从基础强化学习到多轮 Agent、多模态与大规模异步训练。
框架面向 LLM/VLM 在线强化学习,覆盖基础策略优化与 Agent 交互学习。极简易用、易于扩展、Agentic 原生是框架的设计目标。Agentic 作为重要能力独立演进,与基础强化学习共用核心接口,不要求每个阶段都新增 Agentic 能力。当前实现以 Ascend NPU 上的同步训练为基础,覆盖采样、奖励、策略更新、发布、评估与恢复;全异步 GRPO 的首期 rayless 实现采用固定的单节点分离部署;独立共卡异步 GRPO 复用其采样合同,按阶段切换生成与更新,已通过两卡短流程验证,学习质量与长稳仍待验收;多模态与更大规模训练属于演进方向。支持范围及验证边界以运行架构文档为准。
主仓维护这一范围内的通用训练能力与代表性 recipe,业务逻辑和专有集成可在下游项目或 fork 中扩展。算法、模型、后端与部署组合不以全面覆盖为目标。当前支持范围见 README,本文定义长期设计取舍,不代表功能已实现。
| 组件 | 职责 |
|---|---|
| HyperParallel / HyperAutoModel | 模型加载、训练、分布式并行与优化器能力 |
| vLLM | 推理执行、请求调度与采样服务 |
| Rayless runtime | torchrun training ranks, spawn sampling, bounded standard-library IPC |
| Hyper-RL | 任务与奖励、学习算法、训练编排、样本合同及策略发布衔接 |
主仓围绕该组合维护少量代表性 recipe,覆盖不同技术边界,不维护模型、后端与拓扑的全组合矩阵。基础设施选型不等同于全部依赖;底层运行环境由运行镜像文档维护。
SGLang 等其他后端可在下游 fork 中适配,不属于官方维护范围。适配需要独立验证 token、logprobs、动作掩码与策略身份,以及权重更新、缓存处理和失败传播,不能直接沿用 vLLM 路径的正确性声明。
目标是以统一任务接口承载单轮任务、多轮环境与程序化 Agent;策略动作和环境观察明确区分,并通过同一轨迹合同进入训练。
- 显式编排与职责分离。 每种执行模式都有清晰的顶层编排者;当前为 SyncTrainer,未来异步模式可独立编排。算法负责数据需求与数学计算,任务负责环境和奖励,用户控制任务程序,框架提供生成、经验采集和学习能力,不将任务名与客户逻辑写入 Trainer。
- 明确的数据与状态边界。 跨组件通过显式合同传递数据,每项可变状态只有一个所有者。每段可训练动作可追溯到生成时的有效上下文、原始 token、策略身份与概率语义;奖励可追溯到评分规则和环境版本。未完成发布的策略不得对新采样可见。同步模式消费同一已发布版本;异步模式须明确分组、消费、样本滞后及校正/拒绝条件。参数发布正确不能替代样本与学习语义正确。
- 局部扩展。 接入数据、奖励或环境不修改训练基础设施;兼容现有角色的算法扩展不复制训练器。训练机制变化可以直接修改核心实现,无需预先构建通用插件系统。
- 有限抽象与统一配置。 抽象须消除实际重复或保护必要合同,不为假设中的后端增加兼容层。配置在入口统一解析和校验,启动脚本不重复实现训练决策。
- 复用基础能力。 模型、并行与推理能力优先由基础设施提供;同步、异步和多模态尽量共用任务接口、样本语义与算法组件,不为每种场景复制整套训练栈。RL 专属适配集中在对应边界。
- 以学习效果衡量效率。 区分任务失败与环境故障、训练奖励与评估结果。性能比较以同等质量下的训练时间和资源成本为主,吞吐与利用率用于定位瓶颈。
- 可读性与可靠性共同约束精简。 保持可追踪的调用路径和清晰命名,不通过压缩写法或转移逻辑减少表面代码量。样本校验、错误传播、必要日志及恢复能力属于基础功能。
接口、状态所有权与失败语义见架构文档。开发流程与文档维护要求见 Hyper-RL 开发规则,功能到实现和测试的对应关系见功能导航。
新增核心能力应解决共同需求,融入既有组件职责,并具备相应测试和端到端验证。业务奖励、专有工具、客户部署及实验机制优先在示例或下游项目中实现;主仓不承担通用 Agent 应用平台或连续动作控制框架的职责。第二个实现的出现不自动构成新增抽象的理由。
供用户使用的任务入口与关键合同应保持明确。必要的不兼容变更提供迁移说明,避免无必要的接口重命名与目录搬迁,降低下游 fork 同步通用修复的成本。
设计是否达成,以可复现的开发与训练任务检验:
- 按文档完成数据准备、训练、评估与重启恢复,启动脚本不隐藏覆盖训练决策。
- 替换奖励、增加工具或接入环境不修改训练基础设施;兼容现有角色的算法不复制 Trainer。
- 发布代表性任务的评估结果与实际修改范围,使可用性和扩展成本可检查。
- 新增异步、模态或并行组合时,验证样本对齐、策略版本、失败传播与恢复;结果包含学习质量、模型、硬件、运行配置及达到目标质量的成本。
代表模型、阶段任务与量化验收标准统一维护在 支持范围与规划,当前支持范围由 README 及对应产品文档维护,不在本文重复列举。