RLHF 是什么？三个步骤到底在解决什么

RLHF 全称是基于人类反馈的强化学习（Reinforcement Learning from Human Feedback）。它不教模型新知识，而是教模型「什么样的回答更让人满意」。严格说，RLHF 指的是两步：先让人对两个回答做偏好比较、训练一个奖励模型，再拿这个奖励模型当裁判、用强化学习调整模型。它通常接在示范微调（SFT）之后；SFT 本身不属于 RLHF，但产业里常把「示范微调 → 奖励模型 → 强化学习」这一整套后训练流程笼统叫作 RLHF。这套流程是 2023–2024 年的通行做法，2026 年的方法栈已经变化，见第四节。三个环节各解决一个问题：示范微调解决「会不会照着格式答」，奖励模型解决「怎么把主观偏好变成能批量打分的标准」，强化学习解决「怎么找到示范数据里没有的更好答案」。

一、预训练之后，为什么还需要这一步

预训练的目标是预测下一个词。模型在海量文本上学会语言规律和世界知识，但它学到的只是「接下来最可能出现什么」，不是「怎样回答对人有用」。所以一个刚预训练完的模型，可能很会续写文章，却不一定听得懂指令，也不一定知道什么话不该说。

最直接的办法是给它看示范：人怎么写，它就怎么学。这一步叫监督微调（SFT）。但示范有天花板：人只能写出一个或几个好答案，模型学到的效果主要受示范的覆盖范围和质量约束；而且示范只告诉模型「这样可以」，没告诉它「哪个更好、哪个更差」。很多任务没有唯一标准答案，人写不出放之四海皆准的范文，却能一眼看出两个回答里哪个更顺、更准、更得体。

RLHF 利用的正是这一点：让人做比较，比让人写标准答案容易得多。把大量「A 比 B 好」的判断收集起来，就能训练模型去逼近这种偏好。

二、三个环节分别做什么

第一步：示范微调——严格说，它不属于 RLHF

它不是 RLHF 的一步，是 RLHF 之前的准备。准备一批问题，每个问题配一份人写的优质回答，用这些配对去微调基础模型。数据量不大，但每条都要高质量。这一步解决的是格式和指令跟随：模型要知道该用对话的口吻、该按问题的要求组织答案、该在不知道时说不知道。

它不解决「好坏」问题。示范只展示了一条路，模型没有机会知道另一条路为什么更差，也没法在示范之外探索。

第二步：训练奖励模型，把人的偏好变成一个打分器

对同一个问题，让模型生成多个回答，请人两两比较，选出更好的那个。大量这样的比较数据，用来训练一个专门的模型：输入是一个问题和一份回答，输出是「人会有多喜欢这个回答」的分数。

这一步是整个方法的关键。人的判断是分散的、一次性的，没法给模型每小时打几万个分；奖励模型把这个判断压缩成一个可以无限次调用的函数。从此，模型每生成一个回答，都能立刻得到一个分数，不需要再找人。

代价是：奖励模型只是人类偏好的近似。它会继承标注者的口味、标注指南的宽严、以及标注过程中的不一致。它打的是「像不像人喜欢的回答」，不是「对不对」。

第三步：强化学习，让模型自己找高分答案

有了奖励模型，就可以让模型对同一个问题生成很多回答，逐个打分，再用强化学习调整模型参数，让高分回答出现的概率变大。训练时通常还会加一个约束，要求新模型不要偏离第一步的示范模型太远，避免它为了迎合打分器把语言改得面目全非。

这一步解决的是「探索」。示范数据里只有人写过的答案；按这套方法的机制推断，强化学习可以让模型自己试出人类没写过的表达方式、更合适的语气，以及在偏好上更讨喜的推理组织方式。这里要说清：它优化的是「人更喜欢」，不是「更正确」。推理的表达可以更完整，但偏好评分不保证推理正确；对数学、代码这类有客观对错的任务，客观验证器能提供更稳定、可扩展的正确性信号（见 09 篇）。它优化的是整个回答，而不是逐词模仿。

三、这套方法的天花板在哪

第一，从机制上说，奖励模型是代理指标。模型完全可能学会「让打分器给高分」，而不是「真的答对」。回答更长、语气更自信、更顺着提问者，都可能让分数变高，但不等于更准确。本文判断，这是这套方法的结构性风险，不是调参能完全解决的。

第二，它受人的数量限制。偏好数据要人来标，人越多成本越高，扩到一定程度就不划算。而且很多任务根本没法让人逐步打分：一个需要五十步操作的智能体任务，没人能对每一步都给出可靠的好坏判断。

第三，它更适合没有唯一正确答案、但人能做偏好判断的领域，比如语气、风格、有用性、安全性。反过来，数学、代码这类有客观对错的领域，用人打分既慢又贵，还会引入噪声——这正是后来 RLVR（可验证奖励强化学习）要解决的问题。

四、它在数据生意里是什么位置

2023 到 2024 年的标准配方是：在数万亿 token 上做预训练，再用相对便宜的一轮 RLHF 做对齐。在这个配方下，数据支出的大头在预训练语料，人类反馈是配角（本文判断，无预算比例）。

RLHF 的主要采购品是人类偏好比较数据，另有一部分是人写的示范答案。偏好比较属于「大而浅」的人力：单个判断不难，但需要很多人、很多条、持续地标；示范答案的深浅则取决于任务难度。人的角色主要是打分员，供应商多是众包平台，单价远低于专家数据。面向前沿实验室的这部分业务，买家高度集中——据本文基于公开报道的估算，前沿实验室大约只有 10 到 15 家，而且它们最有能力自建，这是这门生意的定价天花板。

到 2026 年，方法栈已经从单一的 RLHF，扩展到 GRPO、DAPO 等新的强化学习算法，以及 RLVR 这类以可验证奖励为核心的方法。算法和奖励来源不在同一分类维度：GRPO、DAPO 也可以配偏好奖励模型，用了它们不等于用了 RLVR。这里只作方向判断，不作量级判断：没有任何一家实验室披露过「后训练消耗的算力已超过预训练」，这个说法未经证实，不能采用；「没有披露」只能说明它未被证实，不能说明它不成立。本文的方向判断是，后训练在决定模型可用能力上的权重明显上升，根据是多家实验室 2025–2026 年的公开表述，但没有可核的算力或支出占比。

这也不意味着人类数据需求会消失，但要分清是哪一类需求。RLVR 只适用于有客观对错的领域；偏好比较数据在语气、风格、安全性这些没有唯一答案的地方仍然要用；环境本身要人来设计和校验。变的不是「还要不要人」，而是人的工作从大量浅层比较转向少量深层设计。至于 RLHF 的偏好比较数据本身，它的采购量取决于偏好训练在方法栈里还剩多大比重，公开信息不足以量化；专家型数据平台的增长说明的是另一类需求（专家示范与环境设计）在扩张，不能拿来证明偏好比较数据的需求不消失。

资料来源

1. 诺辉投资研究部. AI 训练数据与语料 · 行业认知研究报告[R]. 2026-09.

数据截止 2026-09　|　相关：RLVR 是什么？和 RLHF 的区别在哪 · 强化学习环境是什么？为什么它最容易产品化，也最容易被自建 · AI 训练数据与语料 · 行业认知研究报告

编写依据

本文依据本赛道研究报告及用户授权的成品库 Markdown 摘编，素材获取于 2026-10-30。原文所列资料时点、出处及核验边界按提供稿保留；本轮未逐条回溯外部来源。