AI Scaling Laws：Kaplan、Chinchilla 与训练配方

**先说结论：**AI scaling laws 用来估计固定预算下模型大小、训练数据和算力的取舍。Kaplan 和 Chinchilla 得出不同配方，说明实验设置极其重要：一条看似漂亮的曲线，可能反映的是模型训练不足或学习率策略，而不是放之四海皆准的规律。

上一篇我们从 Lilian Weng 的《Scaling Laws, Carefully》出发，讲了生成式 AI 里最重要的一条商业数学线索：

模型能力、参数量、训练数据和算力之间，经常呈现可以预测的幂律关系。

这篇是续集。

今天看到 Diogo Almeida 的《Scaling Laws, Honestly》，它像是给上一篇补了一记现实世界的校准：规模法则很重要，但它不是神谕。它不是说“只要砸钱变大，结果自然会好”。它真正有价值的地方，是帮助我们判断：

该把钱花在更大的模型，还是更多的数据？
小规模实验能不能预测大规模训练？
一条漂亮的 log-log 直线，背后有没有实验设置造成的偏差？
对企业和投资人来说，哪些 AI 叙事只是“参数量崇拜”，哪些才是可复利的能力曲线？

我先把结论说白：

Diogo 的文章不是在推翻 scaling laws，而是在提醒我们：如果实验设计没有控制好变量，规模法则会把错误的训练配方伪装成数学规律。

这句话对商业判断非常重要。因为 AI 投资最危险的地方，往往不是“不懂数学”，而是把一个没校准好的仪表盘当成方向盘。

16 岁版本：先把整件事讲成一个故事

想象你在培养一个学生参加很难的考试。

你有三样东西可以花钱：

给学生换一个更大的大脑，类似增加模型参数 $N$ 。
给学生更多练习题，类似增加训练 token $D$ 。
给学生更多学习时间和老师，类似增加总算力 $C$ 。

最后你关心的不是“大脑多大”，而是考试错题率，也就是损失 $L$ 。

Kaplan 当年的直觉像是说：

如果预算变多，优先把学生的大脑变大。大脑更大，练习题不用按同样速度增加。

Chinchilla 后来的直觉像是说：

不对。很多学生不是大脑不够大，而是练习题做得不够。大脑和练习题要匹配。

Diogo 的文章再补了一句：

当年的实验可能让大脑大的学生都只做了同样多练习题，而且快到结尾时还把学习速度慢慢降到 0。这样看起来像“再给练习题也没用”，但其实可能是学生被提前按了刹车。

这就是整篇文章的来龙去脉。

所以我们接下来所有公式，都只是在认真回答一个很简单的问题：

同一笔钱，到底该花在“更大的大脑”，还是“更多的练习题”？

先复习：上一篇的四个变量

训练大语言模型时，我们先抓住四个量：

$N$ ：模型参数量。像学生的大脑容量，也像工厂大小。
$D$ ：训练 token 数。像练习题数量，也像工厂原料。
$C$ ：训练计算量。像总学习预算，也像总电费和机器时间。
$L$ ：损失。像考试错题率，越低越好。

训练成本常用一个近似式：

C \approx 6ND

意思是：工厂越大，原料越多，需要的总电费和机器时间就越大。

经典规模法则会把损失写成：

L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}

不用被公式吓到。它说的是三件很朴素的事：

$E$ 是很难消掉的底噪。
增加参数 $N$ 可以降低损失，但边际收益递减。
增加数据 $D$ 也可以降低损失，同样边际收益递减。

所以商业问题就变成了：

如果预算固定，我应该买更大的模型，还是喂更多的数据？

这就是 Kaplan 和 Chinchilla 争议的核心。

Kaplan 与 Chinchilla：差别到底在哪里？

OpenAI 2020 年 Kaplan scaling laws 的结论，简单说，是更偏向做大模型。给定更高算力，模型参数应该增长得更快，数据增长得相对慢一些。

DeepMind 2022 年 Chinchilla 的结论，则是：很多当时的大模型其实“太大但没吃饱”。在固定算力下，应该训练更小的模型，但给它更多 token。

用一张表看最清楚：

问题	Kaplan 风格结论	Chinchilla 风格结论
算力增加时优先加什么？	更偏向增加参数量 $N$	参数 $N$ 和数据 $D$ 大致一起增加
最优模型长什么样？	更大，训练没必要太充分	更小，但训练更充分
代表性指数	$N_{\text{opt}} \propto C^{0.73}$	$N_{\text{opt}} \propto C^{0.50}$
商业翻译	多买模型容量	容量和原料要匹配

如果训练算力增加 10 倍，两个配方的直觉差异可以画成这样：

Kaplan 和 Chinchilla 在 10 倍算力增加下的资源分配对比

图 1：同样是 10 倍训练算力，Kaplan 风格更偏向扩大模型，Chinchilla 风格更强调模型和数据一起增长。

这不是小分歧。它会直接影响数亿美元甚至数十亿美元的训练预算。

如果你是企业客户，它影响你该迷信“最大模型”，还是该关心“某个模型在你的任务上是否训练充分、成本是否可控”。

如果你是投资人，它影响你该只看 GPU 集群规模，还是要问数据质量、训练配方、推理成本和产品闭环。

下面两张 Python 图可以帮助你把公式看成图形。第一张是二维等高线：横轴是模型大小，纵轴是训练数据，白色斜线表示固定算力 $C \approx 6ND$ 。第二张是三维曲面：loss 像山谷，训练策略就是在山谷里找最低点。

Scaling law loss contour with fixed compute lines

图 2：颜色越亮，错误分数越低。固定预算是一条斜线；最优点不在最右边，也不在最上边，而是在模型和数据的平衡处。

Scaling law loss surface with compute-optimal valley

图 3：三维视角下，最优训练像沿着预算线在山谷里找最低点。橙色线代表同一笔 10 倍预算可以选择的不同模型/数据组合。

动态图会更直观：当预算从 1 倍推到 100 倍，白色预算线会往外移动，红点代表每一笔预算下最划算的位置。

Animated scaling law budget frontier

图 4：预算越大，不是简单地一路向右“模型越大越好”，而是沿着一条模型和数据共同增长的平衡路径移动。

如果你想自己拖动参数，下面这个交互沙盘可以玩一玩。它不追求出版级视觉，而是帮助你直观看到：当“模型变大更值钱”或“数据变多更值钱”时，金色最优点会怎样移动。

Interactive Scaling Law Explorer

拖动滑块，看预算该花在哪里

把模型想成工厂，把训练数据想成原料。颜色越深，错误分数越低；金色点是在当前预算下最划算的位置。

模型变大有多值钱0.34越大，说明扩大“工厂”更能减少错误。数据变多有多值钱0.36越大，说明增加“练习题和原料”更能减少错误。算力预算倍数10x固定总预算时，钱花给更大的模型，就会少一点钱买训练原料；反过来也一样。

当前最划算的增长方式

模型规模: N_opt ∝ C^0.51

训练数据: D_opt ∝ C^0.49

如果两个数字都接近 0.5，就像 Chinchilla：工厂和原料一起长。

二维：错误分数地图

金线是固定算力约束

三维视角：错误曲面

低处代表更少错误

同样增加 10x 算力，两种配方怎么花？

Kaplan 风格

参数 N5.4x

数据 D1.9x

Chinchilla 风格

参数 N3.2x

数据 D3.2x

看交互沙盘时，只记住三件事：

横轴是模型大小，越往右模型越大。
纵轴是训练数据，越往上练习题越多。
金色点是当前预算下最划算的位置，不一定在最右边。

Diogo 说的 bug，本质是什么？

Diogo 把 Kaplan 那版 scaling laws 的问题称为 bug。我会把它翻译得更通俗一点：

实验里混进了一个没有看清的因素，最后让大家误以为“更大的模型比更多的数据更重要”。

用公式表示，论文里想估计的是：

L = f(N, D)

也就是损失由参数量和数据量决定。

但真实训练里还有一个隐藏变量 $S$ ：

L_{\text{true}} = f(N, D, S)

$S$ 代表训练设置，比如学习率、训练步数、数据是否重复、tokenizer、优化器细节等。

如果 $S$ 没有处理好，你以为自己在测“模型变大之后损失怎么变”，其实也在测“训练配方有没有把模型提前刹停”。

这就像你想研究汽车马力和速度的关系，却忘了每辆车的刹车都踩得不一样。最后画出来的曲线也许很平滑，但它测到的不只是马力，也测到了刹车。

Diogo 总结的关键有三步。

第一步：固定 token 数，让大模型天然吃不饱

Kaplan 实验里，不同大小模型在很大程度上使用了固定数量的训练 token。Diogo 认为这会制造一个问题：小模型和大模型虽然吃了同样多 token，但它们“每个参数分到的训练材料”完全不同。

看一个简化例子：

模型参数 $N$	训练 token $D$	每个参数对应 token： $D/N$
1B	130B	130
10B	130B	13
100B	130B	1.3

这张表的商业直觉很强：

参数越大，工厂越豪华；如果数据不跟着增加，原材料就越不够。

如果大模型没有吃够数据，它的表现会显得“继续喂数据也没那么重要”。但这不是数据不重要，而是实验设置没有让数据这条轴充分展开。

换成线性代数直觉：参数可以看成一个巨大向量空间里的自由度。自由度越多，需要越多观测来约束它。

用学生的话说就是：脑子越大，能学的东西越多，但也更需要足够多、足够好的练习题来把能力练出来。

第二步：学习率逐渐衰减到 0，让训练看起来“饱和”

训练模型时，参数更新可以粗略写成：

\theta_{t+1} = \theta_t - \eta_t \nabla L(\theta_t)

这里：

$\theta_t$ 是第 $t$ 步的模型参数。
$\nabla L(\theta_t)$ 是告诉你“往哪里改会降低错误”的梯度。
$\eta_t$ 是学习率，也就是每一步走多大。

Kaplan 实验使用了 warmup 后 cosine decay 到 0 的学习率 schedule。简化写法是：

\eta_t = \frac{\eta_0}{2}\left(1 + \cos\frac{\pi t}{T}\right)

当 $t$ 接近训练终点 $T$ 时， $\eta_t$ 接近 0。

这是什么意思？先不用管公式细节，只看 $\eta_t$ 。

学习率接近 0 时，即使梯度还在告诉模型“你还能变好”，模型也几乎不再移动。

于是训练曲线会变平，看起来像“模型已经学不动了”。但 Diogo 的核心提醒是：这可能不是练习题没用了，而是学习率把训练提前刹住了。

可以用一张 Python 图理解：

Cosine learning rate decay to zero

图 5：如果学习率在训练终点附近衰减到接近 0，曲线变平可能只是模型几乎不更新了，不一定代表更多数据真的没价值。

把训练过程动起来看，会更像“踩刹车”：

Animated learning rate decay progress

图 6：训练越接近终点，学习率越低。到最后即使梯度还在，参数也几乎不动。

如果你把这条曲线和固定 token 数绑在一起，就会更难看出大模型其实还需要更多数据。

第三步：在有限 token 条件下成立的结论，被误读成更一般的规律

Diogo 的第三个点更微妙。

如果你只在“最大 token 数固定、学习率按这个终点衰减”的条件下观察，那么说结果对学习率 schedule 不太敏感，也许在这个小世界里成立。

但 scaling laws 想服务的是更大的问题：

当我们把算力、参数、数据继续放大时，怎样分配才最优？

这已经超出原来那个固定 token 终点的小世界。

数学上，这叫外推风险。通俗说，就是你只看了几次小测验，就拿它去预测高考成绩。曲线可能很好看，但不一定可靠。

损失 L
^
|\
| \     小规模实验区：看起来很直
|  \
|   \____
|        \        外推区：一点斜率偏差会变成巨大预算偏差
|         \____
+--------------------------> 规模 log(N), log(D), log(C)

这也是 Lilian Weng 那篇文章里反复强调的现实困难：scaling law 的形式很干净，但拟合过程对参数口径、实验范围、loss 精度、训练设置都很敏感。

数学本质：规模法则其实是在比较边际收益

我们回到最重要的公式：

L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}

算力固定：

C \approx 6ND

所以如果 $C$ 固定， $D$ 可以写成：

D = \frac{C}{6N}

代回损失函数：

L(N) = E + A N^{-\alpha} + B\left(\frac{C}{6}\right)^{-\beta}N^\beta

这条式子很值得慢慢看。

第一项 $A N^{-\alpha}$ ：模型越大，损失越低。

第二项 $B\left(\frac{C}{6}\right)^{-\beta}N^\beta$ ：在算力固定时，模型越大，留给数据的预算越少，所以损失反而会上升。

最优点不是“越大越好”，而是两股力量刚好平衡。

对 $N$ 求导并令导数为 0，会得到：

\alpha A N^{-\alpha-1} = \beta B\left(\frac{C}{6}\right)^{-\beta}N^{\beta-1}

不用背推导。它的商业翻译是：

最优训练规模，就是最后一美元花在“增加模型容量”和“增加训练数据”上，带来的损失下降差不多相等。

这就是 scaling law 的本质：它不是崇拜规模，而是在算边际回报。

所以当 Kaplan 的实验设置让“数据的边际价值”看起来偏低时，结论就会偏向更大的模型。当 Chinchilla 更系统地扫描模型大小和 token 预算时，结论就回到“模型和数据一起增长”。

这对企业有什么启示？

第一，不要用参数量做采购决策。

参数量是容量，不是业务价值。企业真正买的是：

在目标任务上的错误率。
单次调用成本。
延迟。
可控性和合规性。
能否接入业务流程。

一个 70B 但训练充分、推理便宜、评估稳定的模型，可能比一个 175B 但成本高、延迟大、治理困难的模型更适合企业。

第二，数据治理不是“IT 后勤”，而是 AI 资产负债表的核心。

如果 Chinchilla 的方向是对的，数据不是可有可无的原料，而是和模型参数同等重要的资本开支对象。企业应该关心：

哪些业务数据是真正高质量、低重复、可授权的？
哪些专家反馈可以持续回流？
哪些错误有明确业务成本，可以形成评估集？
哪些工作流能让模型越用越了解场景？

第三，训练曲线要服务业务曲线。

预训练 loss 下降，不自动等于商业 ROI 上升。

企业应该建立自己的映射：

\Delta L \rightarrow \Delta \text{业务错误率} \rightarrow \Delta \text{现金流}

例如：

客服场景：错误率下降能不能减少人工升级？
财务场景：抽取错误下降能不能减少复核时间？
销售场景：生成质量提升能不能提高回复率？
法务场景：幻觉下降能不能降低合规风险？

如果这条映射不存在，模型再强也只是技术演示。

这对投资判断有什么启示？

先声明：下面不是投资建议，而是分析 AI 公司和产业链时可以用的框架。

我会把 AI 投资判断拆成三条曲线。

曲线	该问什么	好信号	危险信号
技术曲线	小实验能否预测大训练？	有稳定 scaling 曲线和外推验证	只讲参数量、榜单和大新闻
成本曲线	单位能力成本是否下降？	推理成本、延迟、吞吐持续改善	收入增长靠更高 COGS 硬顶
数据曲线	数据是否越用越有价值？	专有数据、反馈闭环、评估集积累	数据来源泛化、重复、不可授权

如果一家公司说“我们会继续 scale，所以会赢”，我会追问五个问题：

你们拟合的是训练 loss，还是真实业务指标？
小规模实验外推到大规模训练，有没有被真实训练验证过？
数据 token 是唯一、高质量、可授权的吗？
更强模型带来的收入增长，是否超过训练和推理成本增长？
用户反馈能不能回流成下一轮模型或产品优势？

这些问题听起来朴素，但它们能过滤掉很多漂亮叙事。

对几个产业方向的再判断

第一，GPU 和先进封装仍然重要，但故事会分层。

Chinchilla 没有让算力不重要。相反，如果模型和数据要一起增长，训练总算力仍然会继续放大。只是预算不再只服务“更大参数”，也会服务“更多高质量 token、更长训练、更复杂数据管线”。

同时，推理侧会越来越重要。企业不会只买一个最强模型，而会做模型路由：简单任务用便宜模型，高价值任务用强模型和更多 test-time compute。

第二，数据公司和垂直应用的价值会上升。

如果公开互联网文本的边际价值下降，那么真正稀缺的是：

行业专有数据。
专家标注和审阅。
用户行为反馈。
高质量评估集。
能把模型输出接回业务流程的产品。

这类资产不像 GPU 那样容易在财务报表里一眼看到，但它可能决定长期毛利率和留存。

第三，开源模型会继续压低“裸模型能力”的价格。

当训练配方更清楚、模型不一定越大越好时，很多能力会被更小、更便宜的模型商品化。商业价值会从“我有一个模型”转向：

我知道什么时候用哪个模型。
我有更好的数据和评估。
我能把模型嵌进真实流程。
我能用更低成本交付同样结果。

这对投资判断很关键：模型本身可能越来越像基础设施，但工作流、数据闭环和分发渠道仍然可能形成复利。

一句话总结

上一篇讲的是：

scaling laws 让 AI 训练从盲目烧钱，变成带仪表盘的大规模下注。

这一篇要补上：

仪表盘也需要校准。否则你看到的不是规律，而是实验设置投下的影子。

Diogo Almeida 的《Scaling Laws, Honestly》最有价值的地方，不是制造“OpenAI 当年错了”的戏剧性，而是提醒我们看懂 AI 产业时要多问一层：

这条曲线测的到底是什么？
哪些变量被藏起来了？
结论能不能外推？
技术指标能不能变成商业现金流？

对企业来说，别买最大的模型，买最适合你错误成本的能力。

对投资人来说，别只看谁在 scale，应该看谁能诚实地测量 scale 的边际回报。

下一篇可以继续沿着这个方向讲：当训练期 scaling 越来越贵，test-time compute、agent workflow、模型路由和评估系统，为什么会成为新的商业战场。

References

Diogo Almeida, Scaling Laws, Honestly, 2026.
Lilian Weng, Scaling Laws, Carefully, 2026.
Jared Kaplan et al., Scaling Laws for Neural Language Models, 2020.
Jordan Hoffmann et al., Training Compute-Optimal Large Language Models, 2022.
Tim Pearce and Jinyeop Song, Reconciling Kaplan and Chinchilla Scaling Laws, 2024.