实验结果表明，R1-Reward 在多个多模态奖励模型基准上超越了现有最先进的模型（SOTA），在准确率和数据效率方面取得了显著进展。此外，R1-Reward 还展示了优秀的推理时扩展能力，为未来将强化学习融入多模态奖励模型（MRM）的研究奠定了基础 ...

ZeroSearch 通过 模拟搜索引擎 ，完全消除了与真实搜索引擎交互的 API 费用，使得大规模强化学习训练变得更加经济可行。 并且，ZeroSearch 兼容多种强化学习算法 ，包括 PPO（Proximal Policy Optimization）和 GRPO（Group Relative Policy Optimization）。

R1-Reward团队 投稿量子位 | 公众号 QbitAI 多模态奖励模型（MRMs）在提升多模态大语言模型（MLLMs）的表现中起着至关重要的作用： 在训练阶段，它可以提供稳定的reward； 在评估阶段，它可以选择更好的sample结果； ...

PPO（近端策略优化）：严格的“步步 ... 3. REINFORCE++：带“记忆”的基础强化学习 核心思路：在基础 REINFORCE 算法上增加“历史基线”机制，比如用 ...

然而，当前强化学习算法存在明显短板。虽然近端策略优化（PPO）算法成为领域标准算法，但面对新的应用领域，如从视频游戏转向机器人任务时，配置算法的超参数需要大量的专业知识和实验，这一脆性问题限制了强化学习在新问题以及计算成本高昂的模型或 ...

PPO（Proximal Policy Optimization）算法是 OpenAI 在 RLHF 阶段采用的算法。PPO 算法中涉及到多个模型的协同训练和推理，设计和实现一套高效、准确的 RLHF ...

研究人员针对药物发现中分子优化效率低、化学规则依赖性强的问题，开发了MOLRL框架，结合预训练生成模型与近端策略优化（PPO）算法，在潜在空间实现高效分子优化。该方法在pLogP提升（ pLogP最高达5.45±4.01）、多靶点活性分子设计（成功率84.7%）及支架约束 ...