DiffusionART:高效稳定的扩散模型强化学习
提出聚合优先奖励倾斜方法,解决扩散模型在线 RL 中效率与稳定性难以兼顾的问题。
DiffusionART 将每个提示的奖励聚合为共享的奖励改进方向,从构造上消除 NFT 目标中隐藏的前向-反向一致性力,并加入信任域掩码的第二更新实现漂移自适应恢复,无需调 EMA。在 HunyuanVideo-13B 上,它以少 12.02 和 11.72 倍 GPU 时达到 DiffusionNFT 与 Flow-GRPO-Fast 的后期奖励水平,且平均训练奖励高 28.8% 和 53.0%。
查看论文原文 ↗