2025 年 1 月 20 日 Kimi k1.5 正式发布,推特伴随着工艺报告的热帖公布,有网友表示:“这应该是因为艺武汉理工大学实拍体验全球范围内,除 OpenAI 之外的作团公司首次实现 o1 正式版的多模态推理性能了吧!”
一时间,项工Kimi k1.5 成了话题王者。推特
但在一个月后的热帖 2 月 24 日,X 上出现了一篇关于 Kimi k1.5 的因为艺工艺爆料帖,博主直言 k1.5 所用到的作团强化学习运算规则,其实是项工借鉴了自己在 24 年 5 月提出的一种名为 SPPO 的工艺。
消息一出,推特武汉理工大学实拍体验瞬间吸引了数万人关注。热帖
在这则爆料中,博主 Yue Wu 先是项工对 SPPO 进行了简单解释,并且附上了相关论文(https://arxiv.org/abs/2405.00675),简单来说,SPPO是一种自博弈运算规则,最初的动机来源于刻画广泛意义上的人类偏好,并且使用了如下图所示的平方损失函数:
值得一提的是,点开论文链接,你会发现原来 Yue Wu 和 Zhiqing Sun 同为这篇文章的第一作者。
紧接着,他开始对 SPPO 工艺进行解析:
通过迭代求解上式中的 theta_t,我们可以得到一个与人类偏好对齐良好的语言模型。SPPO 使用胜率(红色部分)作为奖励,并用常数近似基线(蓝色部分)。
让我们感兴趣的是,我们发现它与 RLHF 目标的策略梯度有着深层的联系:如果我们直接用普通的策略梯度优化 RLHF (人类反馈强化学习)目标会怎样?根据策略梯度定理,策略梯度实际上也具有平方损失形式(蓝色项是策略梯度中的基线):
从数学上,我们证明了 SPPO 的平方损失等价于普通策略梯度的一种半在线变体:
SPPO 中的胜率充当奖励函数(红色部分)。
分区函数项自然地成为(软)值函数(蓝色部分)。
那么这到底意味着什么呢?
标准策略梯度(PPO、GRPO、REINFORCE)在每一步都收集遵循当前策略的样本。
SPPO 在每次迭代开始时只采样一次,然后通过平方损失进行优化。
这使得 SPPO 成为一种轻量级的 RLHF 方法——无需即时生成!
上述分析揭示了大型语言模型(LLM)后训练阶段一个有趣的增长趋势:
离线 DPO(IPO、KTO 等)取代 RLHF(奖励模型 + 强化学习)
迭代 DPO、SPPO 等方法将离线方法转化为在线对齐方法
更加精细的迭代 → 回归到在线强化学习
鉴于 GRPO(Deepseek-R1)和平方损失(Kimi k1.5)的成功,端到端强化学习的强大作用愈发凸显,或许在大型语言模型(LLM)后训练阶段无需额外技巧——价值函数、广义优势估计(GAE),甚至梯度裁剪都无需使用。
另一个简单但有趣的发现是,他们发现 SPPO 暗中在词汇级别优化最优最大熵策略。其平方损失隐含地最小化了学习到的策略与最优词汇级别策略之间的 KL 散度。
在我们后续的研究 GPO 中,我们直接最小化相对奖励与对数比率之间的平方损失。这两项工作中的平方损失等价于策略梯度,但它是以迭代的方式进行的。
除了提出助力 Kimi k1.5 大获成功的 SPPO 工艺外,Wu Yue 也是一个学术背景很强的科研大牛。他本科期间师从北京大学的王立威教授,博士期间师从加利福尼亚大学洛杉矶分校的顾全全教授,目前以博士后研究员的身份在普林斯顿大学机器智能实验室继续着自己的科研之路。
除此之外,2023 年至今他一共参与发布了 9 篇 Paper,其中 3 篇均为第一作者。
强大的学术背景之外,Wu Yue 的实习经历也非常加分。2022 年至 2024 年,他分别在 NEC 美研院、字节美国 AI lab和 Meta 工作实习。在 NEC 美研院期间,Wu Yue 从事个性化联邦学习研究,并开发了一种基于混合模型的方法,该方法被 ICML 2023 接受发表;在字节美国 AI lab 时,他专注于药品发现领域的多构象生成,将分子动力学的物理先验纳入基于扩散的生成模型,相关成果被 ICML 2024 接受;来到 Meta 后,Wu Yue 又致力于词汇级别奖励建模和新架构设计,用于一般人类偏好和一般偏好优化,为生成式机器智能的增长做出了贡献。
雷峰网(公众号:雷峰网)还了解到,与他同为第一作者的 Zhiqing Sun ,目前已经从 CMU 毕业,并在今年 2 月加入 OpenAI。
雷峰网原创文章,未经授权禁止转载。详情见转载须知。
若愚科技:基于多模态大模型的机器人“大脑”领导者
AI 图像生成平台 LiblibAI 融资总额达数亿元;Meta 曝训练 Llama 3 每 3 小时「罢工」一次丨AI情报局
英伟达 Jim Fan:复刻NLP的成功路,用通用模型开启具身智能的GPT
探索 5 大 AI 语言学习工具,掌握新语言的未来丨AI情报局
MediaTek 举办天玑开发者大会 MDDC2024,携手产业伙伴共创生成式 AI 新生态
动易科技获千万级融资;曝 OpenAI 首颗芯片:台积电 1.6nm,为 Sora 定制;阶跃星辰上线图像生成大模型丨AI情报局
视频生成赛道再添“猛将”,智谱清影正式上线
AI VC Radical Ventures 融资近 8 亿美元,李飞飞、Hinton支持;谷歌发布四款 AI 手机丨AI情报局
冯德莱恩对中国提出三项要求,外交部回应
专访 OmniH2O 项目发起人何泰然:探索人形机器人遥操作通向具身智能的可行之路
对话 IJCAI2024 大会主席张成奇:克服了幻觉,大模型就不够「靓丽」
WAIC 2024 已落幕:大模型再无新玩家,AGI 下半场是计算与应用
乌克兰声称已拘留两名中国公民 外交部回应
“知乎AI先行者沙龙”深圳站:探航大模型应用新风口
百川智能完成 50 亿元 A 轮融资,北上深国资入局;OpenAI 挑战谷歌,发布 AI 搜索 SearchGPT丨AI情报局
商汤大模型的「5o」交互,普通人如何和 AI 过一天?
独家丨前微软 NLP 大牛姜大昕创立新公司「阶跃星辰」
阿里领投首家人形机器人:逐际动力完成亿元 A 轮融资;谷歌 Eureka AI 模型提前曝光丨AI情报局
开源公司 Grafana Labs 融资 2.7 亿美元;a16z 发布全球 Top100 AI 应用:字节美图上榜丨AI情报局
黑神话手办炒到6000,AI自己做一个可行?
聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕
家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明
宇树亮相2024世界机器人大会,王兴兴解答人形机器人规划
李飞飞所创 World Labs 估值或超 10 亿美元;传字节将于 19 日公布文生图/视频等 AI 模型进展丨AI情报局
[list:i operate=+3]古装传奇剧《藏海传》厚重底蕴精良制作引关注 不落爽剧窠臼 淬炼人性光辉
[list:i operate=+3]智元发布商用人形全家桶,双足10月开始量产,今年出货200台
[list:i operate=+3]AI 编程新星 Anysphere 获 A16z 估值 4 亿美元投资;微软为 Excel 等研发新 AI 模型丨AI情报局
[list:i operate=+3]成立996天,MiniMax 每日与世界的30亿次交互
[list:i operate=+3]2025中国国际大学生时装周✕神州租车潮游旅行大赛获奖作品揭晓
[list:i operate=+3]JetBrains与阿里云战略合作发布JetBrains AI Assistant:聚焦中国市场开发者,实现开发效率代际提升