清华和上交的套公式最新论文中,上演了一场“学术打假”的推理戏码。文中研究者们对当前“纯 RL 有利于提升模型推理能力”的神器上交天津理工大学实拍评论主流观点提出了相反的意见。
通过一系列实验,清华他们证明引入强化学习的大最大模模型在某些任务中的表现,竟然不如未使用强化学习的新研型更模型。
论文批判性地探讨了 RLVR 在提升 LLM 推理能力方面的真推作用,尤其是套公式在赋予模型超越自身原有能力方面,效果可能并非像人们普遍认为的推理那样“无懈可击”。
消息一出,网友们纷纷下场站队。大最大模
有人认为这篇文章抓住了 RL 自身的新研型更漏洞,虽然提高了采样效率,真推但它似乎在推理方面存在不足,套公式未来我们需要新的方法来释放 LLM 的全部潜力。
也有人表示,或许强化学习实际上限制了模型开发新推理行为的能力。真正的推理增强可能需要蒸馏等方法。
质疑声之外,RL 的追随者也在为“信仰”发声:这种说法是错的,验证远比生成简单的多。
也有网友表示,这更像是奖励结构的缺陷,而非 RLVR 本身的问题。如果用二元奖励结构,出现这种情况可以理解。但我们可以调整奖励结构来缓解这个问题,甚至还能激励更好的推理。
实验中,研究人员在三个具有代表性的领域进行了实验,来评估 RLVR 对基础模型和 RLVR 模型的推理能力边界的作用。
在数学任务实验中,研究团队在 GSM8K、MATH500 和 AIME24 等基准上评估了多个大语言模型系列(如 Qwen-2.5 和 LLaMA-3.1)及其经过 RL 训练的变体。他们通过分析 pass@k 曲线,比较了基础模型与 RL 模型的表现,发现虽然 RL 在低 k 值下提升了模型的准确性,但在高 k 情况下却显著降低了问题的覆盖范围。
此外,研究者还手动审查了模型生成的 CoT(Chain of Thought)推理过程,以确认正确答案是推理得出而非纯属运气。最后,他们还研究了采用 Oat-Zero 方法训练的模型,并对信息集进行了过滤,剔除容易猜测的问题,从而聚焦于更具挑战性的样本。
整体结果显示,尽管 RL 能在初始准确率上带来提升,基础模型在推理覆盖率方面仍表现更为稳健。
在编码任务实验中,研究团队在 LiveCodeBench、HumanEval+ 和 MBPP+ 等基准上评估了源自 Qwen2.5-7B-Instruct-1M 的 RLVR 训练模型 CodeR1-Zero-Qwen2.5-7B。他们通过 pass@k 指标来衡量性能,并根据预定义的测试用例评估模型的正确性。
结果显示,RLVR 提升了单样本 pass@1 的分数,但在较高采样数(k = 128)时,模型的覆盖率有所下降。与此相比,原始模型在较大 k 值下表现出了持续改进的潜力,而 RLVR 的性能则趋于平稳。这表明,尽管 RLVR 提高了模型的确定性准确性,但在探索多样性方面存在一定的限制。
在视觉推理实验中,研究团队在过滤后的视觉推理基准(MathVista 和 MathVision)上评估了 Qwen-2.5-VL-7B,删除了多项选择题,聚焦于稳健的问题解决能力。RLVR 在视觉推理任务中的表现提升与数学和编码基准中的改进相一致,表明原始模型已能够解决广泛的问题,即便是在多模态任务中也同样如此。
跨领域的一致性表明,RLVR 提升了模型的推理能力,同时并未从根本上改变模型的问题解决策略。
使用单次通过的成功率或平均核采样衡量模型推理能力边界的传统指标存在关键缺陷。如果模型在少数几次尝试后未能解决难题,但却本可以通过更多次的采样获得成功,此时其真实推理潜力可能会被低估。
如果为基础模型投入大量采样资源,它的性能能否与经过强化学习训练的模型相匹配?
为精准评估大语言模型的推理能力边界,研究团队将代码生成领域常用的pass@k指标拓展至所有可验证奖励的任务。针对一个问题,从模型中采样k个输出,若至少一个样本通过验证,该问题的pass@k 值为1,否则为0。信息集上的平均 pass@k 值反映了模型在 k 次试验内可解决的信息集问题比例,能严格评估 LLM 的推理能力覆盖范围。
直接按问题采样k个输出计算pass@k可能导致高方差。他们采用无偏估计法,对评估信息集D中的每个问题生成 n 个样本(n ≥ k),统计正确样本数。对于使用编译器和预定义单元测试用例作为验证器的编码任务,pass@k 值能准确反映模型是否能解决问题。
然而,随着 k 增大,数学问题中“黑客”行为可能凸显,即模型可能生成错误的推理过程,却在多次采样中偶然得出正确答案,这一情况常被以往指标忽视。为此,他们筛选出易被“黑客”攻克的问题,并手动检查部分模型输出的 CoT 正确性。结合这些措施,他们严格评估了 LLM 的推理能力极限。
清华与上交的这篇论文,为当前业界广泛推崇的强化学习范式敲响了警钟。让我们不得不重新思考强化学习在大模型训练流程中的真正角色。
我们也不能将模型的“能力”与“效率”混为一谈。能力,指的是模型是否拥有解决某类问题的潜质与逻辑链条;效率,则是在给定的能力范围内,模型能以多快、多稳、多省资源的方式得出答案。
强化学习或许确实能够提升模型在已有能力基础上的输出表现(比如在低采样次数下更快给出正确答案),但这并不代表它为模型带来了新的推理路径或更复杂问题的解决能力。相反,在高采样场景中,RL 带来的“收敛性”可能牺牲了答案的多样性,从而错失了解决更多难题的机会。
雷峰网(公众号:雷峰网)认为,强化学习更像是一种能力调控器,而非能力创造器。它可以让模型更擅长做已经能做的事,但难以让模型做出“原本不会的事”。正因如此,若将 RL 简单视为提升模型通用智能的万能钥匙,未免过于乐观。接下来的工艺路线,可能需要更多关注基础模型在表示能力、知识组织与推理路径构建等方面的设计,而非过度依赖下游的策略微调。
总的来说,这项研究的意义不在于“RL 无用”的结论,而在于它揭示了在过热预期背后,强化学习真正适用的边界。这或许会促使研究者和企业在制定大模型优化方案时,回归问题本质,用更清晰的标准衡量“能力的提升”究竟意味着什么。
参考链接:
https://arxiv.org/pdf/2504.13837
https://x.com/iScienceLuvr/status/1914171319970848942
https://limit-of-rlvr.github.io/
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
为涉黑母亲辩护的河南基层法官,涉嫌洗钱罪被刑拘
刑侦悬疑网剧《真相半白》今日开播 暗黑推理高智追凶启幕
北京京剧院汇集强大主创阵容 新编现代京剧《野火春风斗古城》8月首演
张哲通《小娘惹之翡翠山》完美收官 深情守护终获圆满
首场“解数Talk” 直播来了——大模型语料数据联盟开源数据集解读
“寻找原汁原味老字号”活动启动,抖音生活服务持续助力老字号焕新
乌兰图雅唱响聊城非遗之夜 草原歌声激荡运河千年古韵
李静、刘璇共话新平衡之约
当「养老」遇上 AI 大模型
两周销量突破1120万杯,瑞幸系列新品与周边火出圈
郎酒燃情盛夏 “中国郎·山之响”2025火把之夜群星演唱会定档8月9日
《书卷一梦》今日开播,李一桐刘宇宁上演穿书流强制爱
AI 迈进深水区,谈落地、谁能带来新解法?
苏见信 (信)「尽兴而活」成都站巡回演唱会圆满收官 苏有朋惊喜助阵引热潮
爱奇艺《书卷一梦》定档6月26日 李一桐刘宇宁上演穿书流强制爱
GAI周延《白鸽》斩获《歌手2025》周冠军 新团专《G
60岁大叔扮女装与千余人发生亲密行为?警方通报
红果短剧出品 金广发自导自演短剧《金先生和他的二十来个乘客》杀青
上海东方艺术中心秋冬演出季将推出豪华阵容
GAI周延《白鸽》斩获《歌手2025》周冠军 新团专《G
4天7场演出,上海群文团队在3000米海拔牧场奏响“沪喀协奏曲”
《酱园弄·悬案》热度高口碑分化 故事情节等引发争议
倒计时!7月4日乌兰图雅“花开四季”庄浪演唱会超燃来袭
白玉兰电视论坛透露行业新迹象 微短剧从流量狂欢转向价值引领