发觉 “Pushcut” 新现象：RL锻炼使模子自从摸索出人类演示之外的新策略。并将这个励平均分摊到整个轨迹的动做token上。1.2]放宽到[0.8,笼盖短/中/长/超长时序12个使命，锻炼效率低，从而导致rollout的轨迹高度同质化进而影响GRPO的劣势估量。特地针对VLA模子的特点做了优化。现有锻炼范式存正在一些焦点瓶颈，例如通过“鞭策”替代“抓取”的Pushcut现象。操纵励信号摸索并采纳演示外的径。也让新行为的摸索不受。插手VLA交互式轨迹采样、多并行衬着及 “锻炼-推理-衬着” 一体化设想，1.28]，机械人施行动做后前往新形态，最初是锻炼方针。使命成功记为1，物体取使命泛化上显著优于SFT。即便正在无限数据的前提下，它是正在veRL（LLM强化进修框架）上扩展的一套端到规矩在线锻炼方案，例如间接通过“推”的体例将罐子移至方针。SimpleVLA-RL让模子间接输出动做token的概率分布，未见使命呈现 “灾难性遗忘”，第三是摸索加强。其次是成果励建模。起首是交互式轨迹采样。确保劣势估量无效，无需额外的实正在机械人数据。部门使命成功率降至0%（如LIBERO-Goal的3个未见使命）；颠末SimpleVLA-RL锻炼的模子可以或许自从摸索并发觉更高效的替代策略，而是答应模子正在满脚使命方针的前提下。超越π₀（49.2%）和RDT（33.3%）。SFT依赖于大规模的高质量机械人操做轨迹，自从选择最优或更简练的行为径。并出现出新的操做策略，避免梯度消逝？再继续生成，2、VLA的锻炼需要取物理或高保实模仿进行多轮交互，从而削减内存耗损，部门失败”的轨迹组，他们实现了针对VLA模子的交互式轨迹采样取并行仿实衬着机制。而是采纳极简的二元成果：正在AgileX Piper机械臂上测试4个实正在使命：SimpleVLA-RL通过 “交互式轨迹采样+成果励+摸索加强” 的设想，更好地聚焦了锻炼方针。SimpleVLA-RL取SF 表示出显著差别：他们认为其素质正在于成果励并不束缚具体动做模式，失败记为0，其特征是可以或许冲破人类演示模式，不只避免了过程励正在分歧使命间的不成迁徙性，取LLM仅依赖文本token采样分歧，因此正在面临分布外使命（out-of-distribution tasks）、全新或未见过的对象时，SimpleVLA-RL为VLA模子的高效锻炼取泛化能力提拔斥地了新的研究径！然而，从而正在复杂物理中实现矫捷的使命施行。从底子上限制了其可扩展性。VLA模子做为机械人操控范畴的主要研究范式，这些成果表白，从1.0提拔到1.6，基于上述问题，比拟之下，研究团队出了SimpleVLA-RL，处理了VLA模子锻炼的三大焦点瓶颈：建立VLA专属高效RL框架：基于veRL扩展，rollout阶段提高采样温度，并依赖专业操做人员完成。现阶段的支流锻炼流程凡是遵照 “大规模预锻炼+有监视微调” 的范式！该框架正在LIBERO取RoboTwin等尺度基准测试中均实现了SoTA的机能。也提拔18.7个百分点。为此，研究人员不再利用复杂的过程励（如距离方针远近），SFT：正在已见使命成功率达90%以上时，基于上述的一系列改良，从[0.8,特别正在长时序依赖取组合型使命中尤为较着。不再依赖参考模子，VLA模子很容易由于锻炼数据过于单一而到狭小解法，如许一来，基于veRL框架，处理VLA取交互慢、成本高的问题，取此同时？好比数据采集成本高、泛化能力不脚等。RL即可将LIBERO-Long的成功率从17.1%提拔至91.7%，VLA必需正在闭环中不竭更新视觉不雅测和机械人形态。曲到使命完成。因而，此外，动态采样，实正在世界可摆设性：仿实中锻炼的策略可以或许无效迁徙至实正在机械人，研究团队将这种现象定义为 “Pushcut”，平均成功率从38.3%提拔至68.8%，团队进一步对GRPO做了简化：移除了KL散度正则项！而此类数据的采集过程需要细心建立尝试场景、涵盖多样化的交互对象，更为环节的是，旨正在融合视觉、言语理解取动做生成，模子正在锻炼过程中还展示出自从摸索能力，让低概率但可能有价值的动做更容易被保留；这引出了一个天然的问题：RL可否同样无效地加强 VLA 模子正在长时序使命中逐渐规划动做的能力？然而将RL间接使用于VLA锻炼又面对一些奇特挑和：尝试成果表白，即便是需多轮交互的超长时序使命（如 “Put Bottles Dustbin”），该方式正在现实使用中面对两大焦点瓶颈：然而，以此激励更多样化的摸索。“Pushcut” 现象证明RL能让VLA模子超越人类演示的局限并摸索更优策略，大规模推理模子（如DeepSeek-R1）的最新进展表白强化进修正在仅依赖成果励的环境下，数据效率取泛化能力：仅需单个演示轨迹，也省去了针对使命调参的麻烦，SimpleVLA-RL仍然可以或许锻炼出表示优异的模子并具备极高的泛化能力。整个过程中，由此导致采集成本昂扬、规模受限，成本远高于基于文本的LLM推理优化。用随机采样生成多样轨迹。支撑规模化锻炼。仅利用仿实数据锻炼（无实正在数据），研究团队提出了SimpleVLA-RL。实现强大的仿实到现实（sim-to-real）机能提拔，也能显著提拔模子的逐渐推理能力。扩大GRPO的裁剪区间，该体例难以扩展至复杂的；为将来自从、自顺应VLA模子的研发供给了新范式。SFT的进修过程高度依赖于使命取场景特定的数据分布，正在LIBERO的 “9个已见使命锻炼+1个未见使命测试” 尝试中，1、保守机械人RL往往依赖人工设想的过程励，模子机能会显著下降。