内容简介 分享两篇RL在LLM中有效性的论文总结要点：GRPO为什么这么好？并非来自奖励正则化，而是“筛选”掉了模型做得全对（太简单）和全错（太难）的样本。（数据依旧是天花板，决定因素）RL真能提升LLM能力吗？不能，只是让 Base Model ...

数据质量： Agent生成的交互数据直接影响强化学习的效果。合理的数据应该具有多样性、适度的交互粒度和实时性。比如在单个任务上多试几次，每轮限制5-6个动作，并保持rollout的频繁更新。

现有的基于强化学习的方法需要精心设计针对特定任务的奖励函数，这通常限制了任务的复杂性，并可能导致机器人动作的不自然；另一类基于遥操作的方法成本高昂、效率低下，且所采集的数据通常针对特定的本体，缺乏通用性。

一、REINFORCE：用“结果”直接教模型 在训练大语言模型时，我们希望模型根据人类反馈调整生成内容，比如让它回答问题更准确、更无害。 REINFORCE 是一种简单直接的方法，原理类似“事后诸葛亮”： ...