聚合 RLHF+RLVR，8B 小模子就能特出 GPT-4o、比好意思 Claude-3.7-Sonnet。

陈丹琦新作来了。

他们提议了一个聚合 RLHF 和 RLVR 优点的步调，RLMT（Reinforcement Learning with Model-rewarded Thinking，基于模子奖励想维的强化学习）。

它条件模子在薪金之前生成 CoT，然后使用东说念主类偏好熏陶的奖励模子来评价输出。

援手在基础模子上成功使用，甚而不需要 SFT，不错大幅从简后熏陶资本。

网友合计，这种步调为通用强化学习设定了一个新基线：谁制定了偏好的界说，谁便是后熏陶时间的"新得离异"。

让小模子松驰特出大模子

RLVR（通过可考证奖励的强化学习）简略在数学、代码等任务中大幅普及模子的推颖悟力，关联词在更绽开的任务（比如写大纲、制定饮食规画）上的泛化智力有限，这些任务是东说念主类往时推理的常见场景。

本文提议的 RLMT 便是解说，RLVR 范式在可考证鸿沟以外相同灵验。

它条件模子在生成薪金之前输出长想维链（CoT），并哄骗基于东说念主类偏好的奖励模子（与 RLHF 中疏浚）进行在线强化学习。

比如关于非数学代码问题，它依旧不错分门径拆解：回来→抽象→要道主题→中枢准则→例如→结构化薪金。

比如在 Wildbench（一个基于真是任务配置的基准）上，优化后的 Qwen2.5-7B 大幅开端其他模子。

它的熏陶经由如下：

给定一个用户提醒 x，模子先生成一个推理轨迹 z，在推理基础上生成最终薪金 y，奖励模子 r ( x,y ) 对收尾进行打分。

数学上，RLMT 优化的诡计是：

然后使用东说念主类偏好奖励模子（论文顶用的是 Skywork-v2），对生成的薪金在畅达性、干系性、逻辑性、创意等维度给出分数。

在优化算法方面，RLMT 使用在线强化学习算法来更新模子参数，主要现实了 DPO、PPO、GRPO，收尾标明 GRPO 恶果最佳。但即使使用 DPO/PPO，RLMT 也永恒优于 RLHF。

熏陶数据来自于真是用户对话，幸免像 RLVR 那样过度偏向数学 / 代码。

熏陶方式有两种：

Warm-start（带 SFT 预热）：先使用少许 SFT 数据教化模子 CoT 阵势，再用 RLMT 优化；

Zero（无 SFT 成功熏陶）：在基础模子上成功加入固定前缀提醒，让它学会"想考 + 薪金"结构，通过 RLMT 强化最终也能进步 instruct 模子推崇。

最终通过 RLMT，模子在推理立场上更像东说念主类想考：它当然学会了分组、拘谨分析、跨部分干系、迭代修正等，从而带来更高质料的对话和写监犯果。

说合团队主要测试了 Llama3.1-8B 和 Qwen2.5-7B 两个模子的推崇恶果。

收尾流露小模子经过 RLMT 熏陶可特出大模子，大幅简化后熏陶资本。

陈丹琦团队出品

本项说合一共三位作家：陈丹琦、Adithya Bhaskar、叶曦。

陈丹琦，普林斯顿大学诡计机副教悔，普林斯顿 NLP 小组郑重东说念主。最近加盟了 Thinking Machines Lab。

她本科就读于清华大学"姚班"，2018 年在斯坦福大学取得诡计机科学博士学位，导师为 Christopher Manning。曾取得诺奖风向标之称的斯隆奖。

她的说合处所主若是当然言语透露、学问默示与推理、问答系统、信息抽取、对话代理等。

说合一行动 Adithya Bhaskar 和叶曦。

Adithya Bhaskar 当今是普林斯顿大学博三学生，师从陈丹琦。

叶曦是普林斯顿言语与智能说合所博士后。

本科毕业于清华大学，在奥斯汀大学取得博士学位。主要说合处所是 NLP，要点在提弘大言语模子的可解释性和推颖悟力。

论文地址：

https://arxiv.org/abs/2509.20357

一键三连「点赞」「转发」「防备心」

宽饶在指摘区留住你的观点！

—  完  —

� �  量子位智库 AI100 季度榜单搜鸠合！搜鸠合果 10 月 10 日。宽饶提名 2025 年 Q3「AI 100」双榜单家具～ 

一键存眷 � � 点亮星标

科技前沿进展逐日见云开体育