跳转到内容

推理模型

来自VeritasWiki 真理百科

推理模型(reasoning model)指经过专门训练、在给出最终答案之前会生成较长内部推理过程的大语言模型。其核心做法是:把更多计算量从训练阶段转移到回答问题的当下,让模型先在"草稿纸"上展开多步推导、验证与回溯,再输出结论,以时间换取难题上的准确率。这一类别区别于普通的思维链提示(chain-of-thought prompting)——后者只是用指令要求一个常规模型"一步步思考",而推理模型是被专门训练出产生并改进自身推理过程的能力,且往往生成远多于提示模型的中间文本。推理模型通常以数学、编程与科学问答等"答案可自动校验"的任务为训练与评测重点。

定义与基本特征

传统大语言模型的工作方式是预测下一个词:给它一道题,它沿训练中学到的常见模式逐字生成回答,没有显式的"中间步骤"概念。面对几何证明、复杂代码或多约束方案这类需要多步推理的问题,一个中间判断出错,后续便会顺着一个错误方向继续,且模型自身未必察觉。推理模型把推理过程显式化:在输出答案前生成一串内部词元(token),用于试探、检查与修正。

这种机制带来三个基本特征。其一是"测试时计算"(test-time compute,又称推理时扩展):模型参数不变,但在回答每个问题时允许花费更多算力,思考过程对应一串可长可短的内部词元,业界用"思考预算"来控制其上限。其二是"自我修正":训练后的模型会主动验证中间结论,在发现走不通时回头重试。其三是可验证性导向:训练信号主要来自对最终答案正确性的自动检查,因此特别适合有客观判据的领域,而在写作、闲聊等主观任务上收益并不稳定。

发展脉络

推理模型作为一类公开产品受到广泛关注,始于 OpenAI 于2024年9月推出的 o1 预览版(年底发布正式版)。OpenAI 将其描述为通过强化学习在数学、编程等可自动校验答案的问题上训练、学会"先思考再回答"的模型;官方报告显示,o1 在美国邀请赛数学竞赛(AIME)2024 试题上单次采样正确率约74.4%,采用64次采样共识可提升到约83.3%。与常规模型相比,这类模型把推理链条大幅加长,并有意对用户隐藏原始思考过程,只展示摘要版本——OpenAI 给出的理由是,保留自由探索(包括走错再退回)的空间,避免未经打磨的中间推理被当成最终认可的答案。

2025年1月22日,中国人工智能企业深度求索(DeepSeek)发布 DeepSeek-R1,把开源推理模型推向中心。其技术报告《DeepSeek-R1:通过强化学习激励大语言模型的推理能力》指出,模型无需人工标注的推理轨迹,仅通过大规模强化学习即可"激励"出自我反思、验证与动态调整策略等高级推理模式,在数学、编程竞赛与 STEM 等可验证任务上超过按传统监督方式训练的同类模型。据论文及中文报道,其成果于2025年9月登上《自然》(Nature)杂志封面;论文补充材料披露的强化学习训练成本约29.4万美元(这一数字不含预训练等前期投入)。公司以开源方式发布权重,并给出多个蒸馏出的小模型,降低了复现与部署门槛。这一发布引发资本市场对"堆算力"路径的重新评估,新华社报道援引业界观点称其"用较低成本达到接近 o1 的性能",并指出开源模型与闭源模型之间的差距正在变化。

此后,研究方向迅速分化为"做长"与"做省"两端:一端继续扩大推理链长度与采样规模;另一端如2025年的 s1 工作,仅用一千条精选样本训练32B 模型,并以"预算强制"(budget forcing)方法主动延长或截断思考过程,表明推理深度可在推理时被有意调控。此外,谷歌的深度思考模式、Anthropic 的可控思考预算模型等也陆续出现,使"可调节思考时长"成为常见产品形态。

训练方法

推理模型的训练以强化学习为核心,但"奖励从何而来"是关键分歧。结果奖励(outcome reward)只根据最终答案是否正确打分,优点是可自动校验、扩展性好,缺点是对中间过程缺乏约束;过程奖励(process reward)则由过程奖励模型(PRM)对每一步推理打分,引导模型沿正确路径前进。OpenAI 2023年的《让我们逐步验证》研究比较了两种监督方式,显示过程监督在降低推理错误上更具优势,为后续方法提供了依据。DeepSeek-R1 采用群体相对策略优化(GRPO)等强化学习方法,在无需过程级人工标注的情况下激发了长链自我修正行为;其经验被总结为"可验证奖励的强化学习"(RLVR)——只要能自动判分,就能用强化学习放大推理能力。

监督微调并未完全退出:R1 在纯强化学习模型基础上,引入少量冷启动数据与多阶段训练以改善可读性与通用能力;把大模型推理能力蒸馏到小模型,也被证明是最经济的落地方式之一。由此形成一条典型流水线:预训练提供知识底座,强化学习雕塑推理行为,蒸馏与后训练兼顾效率与可用性。

推理时计算与评测

推理阶段同样存在一套"放大"技术:多次采样后取多数意见的自洽性(self-consistency)、用验证器对候选答案重排、在推理树中搜索,以及根据题目难度自适应分配思考预算。Snell 等人2024年的研究系统比较了这些机制,指出测试时计算的有效性强烈依赖题目难度,按题自适应的"计算最优"策略比简单的多次采样基线效率提升数倍;在算力匹配的前提下,一个较小模型配合恰当的测试时计算,可在部分任务上超过参数量大十几倍的模型。这为"以推理时算力换模型规模"提供了量化依据。

评测重心随之从知识记忆转向多步推理。常见基准包括竞赛数学(AIME、MATH-500)、研究生级科学问答(GPQA)、软件工程(SWE-bench Verified)、抽象推理(ARC-AGI)与高难度数学研究题(FrontierMath)等;传统综合基准 MMLU 趋于饱和后,实验室更多引用上述推理基准。但评测的效度存在争议:榜单可能被针对性优化或发生数据污染,模型成绩在公开后迅速被后续系统刷新,独立复现并不总是可得;且这些基准多为有唯一正确答案的静态题目,与真实世界中信息不完整、反馈延迟、动作有后果的任务相去甚远。

局限与争议

首先是可靠性。更长的推理并不保证正确的结论:模型仍可能产生幻觉,也可能给出一条听起来严密、却在某一步植入错误的前提或计算的推理链。当思考过程被完整展示时,其"忠实性"也受质疑——写出来的步骤未必真实反映模型内部的计算过程,可能只是事后合理化。

其次是成本与时延。推理模型每次提问可能生成数千乃至上万词元的内部文本,推理时间与费用较常规问答高出一个数量级以上。这使其适合数学竞赛、科研推导、复杂调试等高价值且可容忍延迟的场景,而不适合实时对话、客服等对首字时延敏感的应用。如何在准确率与思考预算之间取舍,成为工程部署的核心问题。

再次是"透明度"路线之争。o1 隐藏原始思维链,强调安全与不被误读;R1 公开完整思考过程,便于审计与研究。哪种做法更可取尚无定论:隐藏可防止中间错误被当作结论,却削弱可解释性;公开有利于调试,却可能暴露模型的脆弱推理并带来滥用风险。

最后是能力边界的争论。测试时计算并非无限有效:有评测指出,o1 在抽象视觉推理基准 ARC-AGI 上的表现仅约两成,即使投入大量算力,也未显著超过同期非推理模型的水平,说明收益在不同任务类型间很不均衡。研究者还提醒,推理模型的训练分布大多是"题目状态全部装进一个提示、反馈只在最终答案、动作不产生副作用"的静态问题,因此竞赛数学成绩高并不自动意味着在需要多轮交互、观察环境并承担后果的智能体任务中同样出色——后者需要另外的评测来检验。此外,"低成本训练"的叙事也需谨慎解读:被反复引用的训练成本通常只计入强化学习阶段,而不含预训练、数据建设与前期研究投入。综合来看,推理模型代表了一条以推理时计算换取能力的新缩放轴,但其适用范围、真实成本与可靠性边界仍有待更充分的独立验证。

参见

  • 大语言模型
  • 思维链
  • 强化学习
  • 测试时计算
  • 可解释AI
  • 自主智能体

参考资料

  1. DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv, 2025-01-22.
  2. Charlie Snell、Jaehoon Lee、Kelvin Xu、Aviral Kumar. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv, 2024-08-06.
  3. Hunter Lightman 等. Let's Verify Step by Step. arXiv, 2023-05.
  4. 新华网. 硅谷手记丨DeepSeek有望激发新一波人工智能创新浪潮. 新华网, 2025-01-28.
  5. 科技日报. 2025国内十大科技新闻解读. 科技日报, 2025-12-25.