过去两年，大模型在公开榜单上的分数，几乎是被「推理时多算一点」推上去的：让模型在答题前先产生一段草稿、比较几条候选、互相打分再选优——这些技巧让同一组参数在不同题目上的准确率上下浮动几十个百分点。但一个越来越明显的现象是：再往上堆算力，分数不再线性增长，而是很快撞上一块看不见的天花板。为什么推理时的「思考预算」存在上限，这件事正好把当下大模型的能力边界，用一种很具体的方式勾了出来。
推理时扩展到底是什么
「推理时计算扩展」（test-time compute scaling）是一种把模型部署阶段当作可调度资源的设计思路。模型训练完成后不再被「冻」住一次性出答案，而是允许它在答题过程中：
- 生成多条候选回答并比较；
- 在内部写一段「草稿本」再回答；
- 让多个副本互相辩论并裁决；
- 对同一问题反复尝试并投票。
这些方法在数学、代码、形式逻辑等结构化任务上拿到过显著收益，看起来像是「只要让模型多花一点时间想，它就能想得更明白」。问题在于——收益曲线并不是单调递增的，而是很快就出现拐点。
天花板长什么样
把准确率画成「思考预算」的函数，会看到三段：
- 陡升段：从零思考到中等思考预算，准确率快速上升，对应模型从「凭直觉猜」切换到「有约束地推」；
- 平台段：再增加预算，准确率几乎不动，模型开始重复论证、自我说服；
- 塌陷段：极度过思考时，准确率反而回落，因为模型陷在错误前提里反复打转。
真正的天花板不是 GPU 不够或内存太小，而是模型内部的概率分布本身就缺乏继续往正确方向走的势能。再多的候选、再多的辩论、再多的 token，都只是在同一座山的山腰打转。
三个让天花板变矮的内部机制
1. 早层误差被放大
候选生成、对比、裁决都建立在「第一段推理是对的」这个隐含假设上。如果模型在第一步就写错了前提，后面的所有讨论都只是在加固错误。这是为什么很多推理增强方法在简单题上提分明显、在难题上几乎无效。
2. 候选之间高度相似
同一温度下采样出的多条候选，往往只在措辞上不同，推理路径高度重合。让它们互相评分等于让镜像评判镜像。多样性不足时，所谓的「多数表决」只是把同一个猜测重复几次。
3. 内部评判器也是同源模型
让模型评判自己的输出，是降低延迟最便宜的办法。但评判器和生成器共享同样的盲区——它无法识别自己在生成阶段都没识别到的逻辑漏洞。于是「看起来很合理」的错误会顺利通过自评。
为什么这件事现在才被认真讨论
三年前，业内关注的是「模型能不能做多步推理」；两年前，关注的是「怎么让模型在结构化任务上多拿分」；现在，关注点悄悄转到了「为什么花更多算力它还是不会做对」。这种转向背后有几股力量同时推动：
- 公开榜单上的分数提升越来越贵，每一点提升都要换几倍 token；
- 企业级部署的延迟预算有限，不能无限堆思考；
- 新一代预训练数据的边际收益下降，新一代模型必须靠推理时扩展来维持可见的能力增长。
这些力量共同把「推理时扩展是否可持续」从研究问题变成了工程问题。
破天花板的三条路
围绕这块天花板，业内正在尝试三类不同的解法：
路线一：让模型先问对问题
与其堆 token 让模型反复求解，不如让它先做一遍「问题改写」——把含糊的题面显式化、拆分成子问题、确认信息充分性。在很多基准测试里，这一阶段比多算几步的回报更高。
路线二：异源评判器
用一个不同家族、不同训练目标的模型做裁判，比如让代码模型给自然语言推理打分、让小模型给大模型当陪审员。异源不等于全能，但能部分修补同源盲区。
路线三：把思考外置
把推理过程写入外部持久存储：笔记本、检索库、长期记忆。下次再遇到类似问题时，模型直接调用过去的思路，而不是每次都重新生成。这种「外置推理」开始接近一种轻量级的持续学习。
对应用层意味着什么
对于正在用大模型做产品的人来说，「推理时扩展撞上天花板」这件事的实际含义是：
- 不要指望通过简单的「多生成几次再投票」就能把难任务的准确率推到很高；
- 在延迟预算紧张时，选中等思考预算通常比选最大预算性价比更高——前者覆盖陡升段，后者大部分时间耗在平台段和塌陷段；
- 对于确实需要高准确率的任务，应当把更多精力放在问题改写、检索、外部工具调用上，而不是单纯调高 max_tokens。
它指向的下一步
推理时扩展让业界第一次用「可调度的算力」这种语言谈论模型能力——这是非常重要的视角转换。但它的天花板说明：算力不是模型能力的通用解药。真正的下一步，是让模型学会在什么地方该停、什么时候承认不会、哪些问题该交给外部系统。这条路上，推理时扩展不是终点，而是把研究者的注意力从「参数」引向「过程」的入口。