RLVR 是什么？和 RLHF 的区别在哪

RLVR 全称是可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards）。它和 RLHF 最根本的区别只有一句话：奖励从哪来。RLHF 的奖励来自人的偏好判断——人比较两个回答哪个更好，这些判断被训练成一个奖励模型，再由它给回答打分；RLVR 的奖励来自一个能自动判对错的程序——跑一遍代码看测试过不过，核对数学题的最终答案对不对。所以两者学的不是一件事：RLHF 学「人更喜欢哪个」，RLVR 学「哪个能被验证为正确」。

一、它是怎么运转的

一次 RLVR 训练包含三样东西：任务、模型、验证器。

任务是给模型的一道题或一个操作目标；模型生成答案或执行动作；验证器检查结果，给出奖励分数；强化学习根据分数调整模型，让更容易通过验证的回答出现得更多。这个过程可以重复很多轮，模型每次都在自己试，不需要人逐条看。

典型的验证器有三类：数学题核对最终答案是否等于标准答案；代码题运行测试用例，看是否全部通过；部分科学问题用确定的规则或计算程序核对结果。

本文认为，一个验证器要能用，通常要看三点：自动、便宜、难以被钻空子（本文归纳，非业界标准）。如果验证器只能检查最终答案，模型可能学会猜答案或走捷径；如果测试用例太弱，模型可能写出只通过测试、实际不能用的代码。所以「可验证」不等于「已验证」——验证器本身的质量，决定了这套方法能走多远。

二、和 RLHF 的区别

这张表最重要的一行是「扩展性」。RLHF 想多要数据，就得多找人；RLVR 想多要数据，可以在验证器和任务覆盖的范围内多跑程序。前者的瓶颈在人的数量，后者的瓶颈在算力、工程师和好任务——这里说的「工程师」和「好任务」本身仍是人，只是从大量低技能人力变成少量高技能人力。所以不是「瓶颈从人挪到工程」，而是从一类人力挪到另一类更稀缺的人力。这是后训练重心迁移的技术基础。

三、为什么后训练的重心往这边移

第一，产品目标变了。模型从「会聊天」变成「会干活」，任务从一句话问答变成几十步的操作序列。对一个五十步的操作序列逐步打分，成本高、也很难说清第三步和第七步各贡献了多少；在结果能自动核验的任务里，让模型自己多试、由程序判定最后成没成，扩展性更好。

第二，RLVR 的训练样本可以自己扩。模型对同一道题生成很多解法，验证器逐一给出对错奖励，强化学习据此调整模型，让更容易通过验证的解法出现得更多。这个过程不需要新增人手。但「多跑几遍就多出样本」有条件：当模型对某类题已经基本全对，再跑也不会产生新的有效样本，通过率饱和后新增尝试的信息量递减。可扩展性取决于当前通过率处在什么区间、任务难度是否持续更新，以及验证器覆盖多宽——不是无条件的。

第三，数学、代码这类任务有客观对错，恰好是验证器最容易写的地方；这也解释了为什么 RLVR 先从这些领域起来。

2026 年的方法栈已经从单一的 RLHF，扩展到 GRPO、DAPO 等新的强化学习算法，以及 RLVR 这类以可验证奖励为核心的方法。算法和奖励来源不在同一分类维度：GRPO、DAPO 也可以配偏好奖励模型，用了它们不等于用了 RLVR。这里只作方向判断，不作量级判断：没有任何一家实验室披露过「后训练消耗的算力已超过预训练」，这个流传的说法未经证实，不能采用。方向判断有两条支撑：RLVR 方法栈的普及，以及 Anthropic 讨论中的超过 10 亿美元 RL 环境预算。前者直接指向 RLVR；后者支撑的是「RL 环境支出大」，而环境可用于任何强化学习，不等于 RLVR。专家型数据平台 2026 年的增速远高于行业整体，说明的是人类专家数据需求在增长，它与 RLVR 可以并行，但不能证明 RLVR 本身在扩张，因此不列为这里的支撑。

四、它替代不了什么

RLVR 只适用于有客观对错的领域。法律意见、医疗判断、投资分析这些没有唯一正确答案的事，整体判断仍然只能靠专家。但一个领域里常夹着可验证的子任务：你可以检查一份合同有没有漏掉必备条款、引用的法条对不对得上，却很难用一个程序判断「这段法律意见是否足够稳妥」。准确的边界是：整体判断靠专家，局部可验证的任务可以用 RLVR。

环境本身也要人来设计。出什么题、怎么判定、难度怎么定，都是人的工作。Anthropic 讨论中的超 10 亿美元环境预算还没有公开拆分；本文判断其中会有一部分变成人的收入（环境设计、验证器编写），但比例未知，不作量级判断。

所以人类的工作需求仍然存在，只是形态在变——从大量浅层的偏好打分，转向少量深层的任务设计、环境搭建和争议裁决；总量是否萎缩，本文证据不足以判断。Mercor、Handshake 这类专家型平台在 2026 年的增速远高于行业整体，是需求换形态的一个迹象；两家都是厂商／媒体口径，不能代表全行业。

还有一个边界：验证器的覆盖范围，决定这套方法的天花板。如果只能验证最终答案，模型可能学会猜；如果只能验证代码跑不跑得通，模型可能写出能跑但不可维护的代码。验证器写得多好，模型就学得多好；验证器看不到的地方，模型不会自动学会。

五、看到「RLVR」三个字，先问四个问题

第一，验证器是什么？是单元测试、答案比对，还是别的程序？ 第二，验证器是谁写的、可靠吗？它能不能被模型钻空子？ 第三，这个任务有没有可自动核验的成功标准？如果没有，而且拆不出可验证的子任务，那就不适合直接用 RLVR。 第四，供应商卖的到底是环境、验证器，还是人类偏好数据？这三种东西的经济性完全不同。

把这四个问题问清，就不会把 RLVR 当成 RLHF 的升级版。它不是升级，是换了一个适用边界：把「人判断好坏」换成「程序判断对错」，把主要约束从人的数量换成高技能人力、算力和任务供给。

资料来源

1. TechCrunch. Anthropic 讨论超过 10 亿美元强化学习环境预算的报道[N]. 2025-09.
2. 诺辉投资研究部. AI 训练数据与语料 · 行业认知研究报告[R]. 2026-09.

数据截止 2026-09　|　相关：RLHF 是什么？三个步骤到底在解决什么 · 合成数据是什么？它能替代真实数据吗 · AI 训练数据与语料 · 行业认知研究报告

编写依据

本文依据本赛道研究报告及用户授权的成品库 Markdown 摘编，素材获取于 2026-10-30。原文所列资料时点、出处及核验边界按提供稿保留；本轮未逐条回溯外部来源。