[qychen2001]

PR 类型

• Bug Fix
• New Feature
• Document Updates
• More Models or Datasets Support

PR 信息

场景。 resource_mode=adaptive 的 GRPO。集群初始化末尾会把可扩缩的打分模型登记给 ClusterAdapter。这次作业只有 accuracy 规则奖励，没有奖励模型。

现象。 登记循环对每个 ORM/PRM 打分器都先读 scorer.model。accuracy 由 get_reward_funcs 包成 _AwaitableToSync，这个包装只有调用接口，没有 .model。初始化在 assembly.py 报 AttributeError: '_AwaitableToSync' object has no attribute 'model'。当时 vLLM 已经建好并进入 sleep，训练一步都没开始。上面的注释写了规则奖励保持静态，但读 .model 发生在 placement_key 判断之前，规则奖励也会走进去。

修复。 先判断是不是 RewardModel。只有它带有 Ray 上的模型代理和 placement_key。规则奖励和 judge 直接跳过。通过类型判断之后，再要求 placement_key 和 _worker_factory 都存在，才放进 elastic_models。这次没有奖励模型，登记结果是空字典，适配器不会去扩缩打分侧。

采样侧的三处修复（Qwen3.5 显存估算、自适应采样留在持有准入表的进程、扩容改为统计正在进行的 sample()）在 modelscope/twinkle#363 。

实验结果

同一套 Qwen3.5-4B GRPO，8 张 GPU，resource_mode=adaptive，只有 accuracy。

• 修改前：初始化在奖励登记处退出，报错就是上面的 AttributeError。vLLM 已经 sleep。
• 修改后：奖励登记能过，elastic_models 为空，训练进入 optimizer step。采样若仍被放到远端进程，接着会碰到 twinkle 那个准入报错，那部分由 twinkle#363 修。