清华和上交的套公式最新论文中,上演了一场“学术打假”的推理戏码。文中研究者们对当前“纯 RL 有利于提升模型推理能力”的神器上交按摩技师租房同居全集主流观点提出了相反的意见。
通过一系列实验,清华他们证明引入强化学习的大最大模模型在某些任务中的表现,竟然不如未使用强化学习的新研型更模型。
论文批判性地探讨了 RLVR 在提升 LLM 推理能力方面的真推作用,尤其是套公式在赋予模型超越自身原有能力方面,效果可能并非像人们普遍认为的推理那样“无懈可击”。
消息一出,网友们纷纷下场站队。大最大模
有人认为这篇文章抓住了 RL 自身的新研型更漏洞,虽然提高了采样效率,真推但它似乎在推理方面存在不足,套公式未来我们需要新的方法来释放 LLM 的全部潜力。
也有人表示,或许强化学习实际上限制了模型开发新推理行为的能力。真正的推理增强可能需要蒸馏等方法。
质疑声之外,RL 的追随者也在为“信仰”发声:这种说法是错的,验证远比生成简单的多。
也有网友表示,这更像是奖励结构的缺陷,而非 RLVR 本身的问题。如果用二元奖励结构,出现这种情况可以理解。但我们可以调整奖励结构来缓解这个问题,甚至还能激励更好的推理。
实验中,研究人员在三个具有代表性的领域进行了实验,来评估 RLVR 对基础模型和 RLVR 模型的推理能力边界的作用。
在数学任务实验中,研究团队在 GSM8K、MATH500 和 AIME24 等基准上评估了多个大语言模型系列(如 Qwen-2.5 和 LLaMA-3.1)及其经过 RL 训练的变体。他们通过分析 pass@k 曲线,比较了基础模型与 RL 模型的表现,发现虽然 RL 在低 k 值下提升了模型的准确性,但在高 k 情况下却显著降低了问题的覆盖范围。
此外,研究者还手动审查了模型生成的 CoT(Chain of Thought)推理过程,以确认正确答案是推理得出而非纯属运气。最后,他们还研究了采用 Oat-Zero 方法训练的模型,并对信息集进行了过滤,剔除容易猜测的问题,从而聚焦于更具挑战性的样本。
整体结果显示,尽管 RL 能在初始准确率上带来提升,基础模型在推理覆盖率方面仍表现更为稳健。
在编码任务实验中,研究团队在 LiveCodeBench、HumanEval+ 和 MBPP+ 等基准上评估了源自 Qwen2.5-7B-Instruct-1M 的 RLVR 训练模型 CodeR1-Zero-Qwen2.5-7B。他们通过 pass@k 指标来衡量性能,并根据预定义的测试用例评估模型的正确性。
结果显示,RLVR 提升了单样本 pass@1 的分数,但在较高采样数(k = 128)时,模型的覆盖率有所下降。与此相比,原始模型在较大 k 值下表现出了持续改进的潜力,而 RLVR 的性能则趋于平稳。这表明,尽管 RLVR 提高了模型的确定性准确性,但在探索多样性方面存在一定的限制。
在视觉推理实验中,研究团队在过滤后的视觉推理基准(MathVista 和 MathVision)上评估了 Qwen-2.5-VL-7B,删除了多项选择题,聚焦于稳健的问题解决能力。RLVR 在视觉推理任务中的表现提升与数学和编码基准中的改进相一致,表明原始模型已能够解决广泛的问题,即便是在多模态任务中也同样如此。
跨领域的一致性表明,RLVR 提升了模型的推理能力,同时并未从根本上改变模型的问题解决策略。
使用单次通过的成功率或平均核采样衡量模型推理能力边界的传统指标存在关键缺陷。如果模型在少数几次尝试后未能解决难题,但却本可以通过更多次的采样获得成功,此时其真实推理潜力可能会被低估。
如果为基础模型投入大量采样资源,它的性能能否与经过强化学习训练的模型相匹配?
为精准评估大语言模型的推理能力边界,研究团队将代码生成领域常用的pass@k指标拓展至所有可验证奖励的任务。针对一个问题,从模型中采样k个输出,若至少一个样本通过验证,该问题的pass@k 值为1,否则为0。信息集上的平均 pass@k 值反映了模型在 k 次试验内可解决的信息集问题比例,能严格评估 LLM 的推理能力覆盖范围。
直接按问题采样k个输出计算pass@k可能导致高方差。他们采用无偏估计法,对评估信息集D中的每个问题生成 n 个样本(n ≥ k),统计正确样本数。对于使用编译器和预定义单元测试用例作为验证器的编码任务,pass@k 值能准确反映模型是否能解决问题。
然而,随着 k 增大,数学问题中“黑客”行为可能凸显,即模型可能生成错误的推理过程,却在多次采样中偶然得出正确答案,这一情况常被以往指标忽视。为此,他们筛选出易被“黑客”攻克的问题,并手动检查部分模型输出的 CoT 正确性。结合这些措施,他们严格评估了 LLM 的推理能力极限。
清华与上交的这篇论文,为当前业界广泛推崇的强化学习范式敲响了警钟。让我们不得不重新思考强化学习在大模型训练流程中的真正角色。
我们也不能将模型的“能力”与“效率”混为一谈。能力,指的是模型是否拥有解决某类问题的潜质与逻辑链条;效率,则是在给定的能力范围内,模型能以多快、多稳、多省资源的方式得出答案。
强化学习或许确实能够提升模型在已有能力基础上的输出表现(比如在低采样次数下更快给出正确答案),但这并不代表它为模型带来了新的推理路径或更复杂问题的解决能力。相反,在高采样场景中,RL 带来的“收敛性”可能牺牲了答案的多样性,从而错失了解决更多难题的机会。
雷峰网(公众号:雷峰网)认为,强化学习更像是一种能力调控器,而非能力创造器。它可以让模型更擅长做已经能做的事,但难以让模型做出“原本不会的事”。正因如此,若将 RL 简单视为提升模型通用智能的万能钥匙,未免过于乐观。接下来的工艺路线,可能需要更多关注基础模型在表示能力、知识组织与推理路径构建等方面的设计,而非过度依赖下游的策略微调。
总的来说,这项研究的意义不在于“RL 无用”的结论,而在于它揭示了在过热预期背后,强化学习真正适用的边界。这或许会促使研究者和企业在制定大模型优化方案时,回归问题本质,用更清晰的标准衡量“能力的提升”究竟意味着什么。
参考链接:
https://arxiv.org/pdf/2504.13837
https://x.com/iScienceLuvr/status/1914171319970848942
https://limit-of-rlvr.github.io/
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
美国洛杉矶一隧道坍塌 15人被困
破解AI算力瓶颈:高通量以太网ETH+协议解锁智算新动能
图灵奖遗忘的AI之父,GAI时代再发声:Jurgen重谈AI“创业”史
具身智能构型之争:人形、灵巧手、双足,谁是最终 C 位?
DALL·E 3 推理能力炸裂提升,OpenAI 抢跑「ChatGPT 原生」
揭秘全网刷屏的人形机器人NEO,背后是比特斯拉还猛的AI公司
四个月融两轮,千寻智能获 2 亿元天使轮融资;大模型公司卓世科技获亿元人民币 B+ 轮融资;小鹏机器手首次亮相丨AI情报局
下注端到端:一场具身智能的谨慎豪赌
事故现场“警车”司机被抓?“辽O”车牌露馅了
揭秘全网刷屏的人形机器人NEO,背后是比特斯拉还猛的AI公司
端侧ChatGPT时刻!这家清华系大模型公司赶在OpenAI、苹果之前
百川智能完成 50 亿元 A 轮融资,北上深国资入局;OpenAI 挑战谷歌,发布 AI 搜索 SearchGPT丨AI情报局
昆仑万维开源「天工」13B系列大模型,0门槛商用
商汤即将发布“日日新5.5”,现场将签约多项重磅合作
考拉悠然完成亿元 B 轮融资;童欣投身 AGI 创业团队;吴恩达离开其 AI 创业公司,或专注新设立的 AI 基金丨AI情报局
100天后,阶跃星辰交出了第二份答卷
相声演员杨少华去世 享年九十四岁
门板上做研究的首席科学家:Jeff Dean解密谷歌和Gemini背后的故事
考拉悠然完成亿元 B 轮融资;童欣投身 AGI 创业团队;吴恩达离开其 AI 创业公司,或专注新设立的 AI 基金丨AI情报局
智谱获华策 1 亿元战略投资,打造影视 AI 研究平台;杨红霞入职香港理工大学;蔚来发布中国首个智能驾驶世界模型丨AI情报局
第十六届信息安全高级论坛暨2024 RSAC热点研讨会圆满落幕
阿里国际举办全球电商挑战赛:三名新加坡大二学生夺冠
新王登基,Gemini 1.5 Pro再度更新,超越GPT 4o和Claude
可灵AI还是火到了马斯克那!
[list:i operate=+3]电影《恋曲尘封》定档6月13日 金牌班底倾力打造老上海故事
[list:i operate=+3]元萝卜亮相2024世界机器人大会,发布首个走进家庭的国际象棋机器人
[list:i operate=+3]Fireworks乔琳:AI产品上市时间从五年压缩到五天,我们的秘诀是什么?
[list:i operate=+3]联想黄山:「超智融合」成算力新趋势,联想打造异构智算平台
[list:i operate=+3]《太奶奶》爆火助推李柯以升咖“短剧一姐”,听花岛成大咖制造机
[list:i operate=+3]奇瑞 1 亿元成立 AI 机器人新公司;AI Infra 公司趋境科技获天使融资;地平线组建具身智能实验室丨AI情报局