生成式 AI 的本质数学 01：规模法则、GPU 护城河与模型战争

生成式 AI 的数学并不只是研究论文里的技术细节。对企业来说，它决定了预算会花在哪里、芯片和供应链为什么重要、数据资产如何形成壁垒，以及模型选择会怎样改变竞争格局。

读者不需要先懂深度学习。只要带着几个商业问题读：

为什么大模型公司看起来像软件公司，花钱方式却像重工业公司？
为什么 GPU、HBM、CUDA、数据中心会变成 AI 战略的核心词？
为什么“模型越大越好”曾经成立，又为什么后来被 Chinchilla 修正？
如果高质量数据越来越贵，下一轮 AI 竞争会转向哪里？

第一部分：普通人最该先懂的硬件和产业问题

在进入公式之前，先回答一个非常现实的问题：为什么今天的前沿大模型训练，很难绕开英伟达 GPU 和 CUDA 生态？

1. 为什么必须用 GPU，而不是普通 CPU？

CPU 可以理解为“少数几个很聪明的经理”。它擅长处理复杂流程、分支判断和系统调度。GPU 更像“成千上万个流水线工位”。单个工位不复杂，但可以同时做同一种动作。

大模型训练底层主要是矩阵乘法，也就是海量“乘一下、加一下”。这类任务不需要一个超级聪明的单人经理，而需要一整层楼同时开工。

对商务人士来说，结论很直接：

AI 训练预算的本质，不是买普通服务器，而是购买可以稳定并行执行矩阵计算的工业级生产能力。

这也是为什么 AI 公司不像传统 SaaS 那样只靠软件边际成本扩张。前沿模型训练更接近资本密集型产业：芯片、显存、机房、电力、网络、工程团队，缺一块都跑不起来。

2. 为什么顶级 GPU 不容易被快速复制？

“造一块芯片”不等于“造出可规模化训练大模型的供应链”。顶级 AI 芯片背后至少有三类卡点：

先进制程与光刻设备：没有足够先进和稳定的制造能力，成本和良率都会失控。
HBM 高带宽显存：模型训练不只是算，还要不停搬运数据；显存带宽不够，计算核心会等数据。
先进封装和数据中心互联：GPU、显存、网络必须以极高带宽协同工作，单点强不代表系统强。

商业含义是：AI 基础设施的竞争不是单一公司竞争，而是整条供应链竞争。芯片公司、晶圆厂、封装厂、显存厂、云厂商、数据中心运营商共同决定了模型训练的上限。

3. 为什么 CUDA 很难被替代？

硬件是身体，CUDA 生态更像神经系统。它让研究员和工程师写的模型代码，可以被高效翻译成 GPU 能执行的底层操作。

CUDA 的护城河不是一个软件安装包，而是多年生态积累：

PyTorch、训练框架和加速库长期围绕 CUDA 优化。
全球工程师遇到问题时，网上大量经验默认以 CUDA 为基准。
企业迁移到新硬件时，不只是在换芯片，还在重写、重测、重训整个工程体系。

所以商务判断要分清两件事：

“某个替代芯片能跑模型”是一回事；“它能以更低总成本、稳定替代主流训练生态”是另一回事。

4. 新架构和新硬件会不会推翻现状？

会有机会，但不会因为论文好看就立刻改变产业格局。

MoE 试图每次只激活一部分专家参数，降低单次计算成本。Mamba 等状态空间模型尝试改善长上下文成本。光子芯片、模拟计算、专用 ASIC 也都在探索更便宜的矩阵计算。

但商务上要问三件事：

它能否在真实任务里稳定赢？
它能否被现有硬件和软件生态高效执行？
它能否让工程师、云厂商和企业客户愿意迁移？

很多技术不是输在数学，而是输在工程成熟度、生态迁移成本和供应链节奏。

第二部分：训练模型到底在优化什么？

大语言模型的训练任务可以说得很朴素：给它一段文字，让它猜下一个 token。猜错就惩罚，猜对就奖励。

数学上常用交叉熵损失描述这个过程：

L(\theta) = - \frac{1}{T} \sum_{t=1}^{T} \log P_\theta(x_{t+1} \mid x_1, \dots, x_t)

这条公式对非技术读者可以这样理解：

模型越能把正确答案放在高概率位置，损失 $L$ 越低；损失越低，通常代表模型对语言、知识和模式的预测越好。

但企业不能只盯着损失值。因为业务价值还取决于：

这个错误在具体业务场景里有多贵？
损失下降能否变成更高转化率、更少人工审核、更低合规风险？
更强模型带来的推理成本、延迟和治理复杂度是否值得？

生成式 AI 的数学目标是降低预测错误；企业 AI 的商业目标是用可接受成本降低业务错误。

第三部分：为什么训练成本会被 $C \approx 6ND$ 锁住？

训练成本常被近似写成：

C \approx 6ND

这里：

$C$ 是训练计算量。
$N$ 是参数量，可以粗略理解为模型容量。
$D$ 是训练 token 数，可以理解为模型吃过的有效材料。
6 来自前向传播和反向传播的大致计算量；商务阅读时不需要纠结精确常数。

这条公式重要，是因为它把 AI 预算拆成两个主要旋钮：

增加 $N$ ：做更大的模型。
增加 $D$ ：喂更多、更好的数据。

如果模型很大但数据不够，就像建了豪华工厂却没有原材料。如果数据很多但模型太小，就像仓库满了但产线处理不过来。

这就是为什么 Chinchilla 之后，行业越来越强调“模型大小”和“训练数据量”要匹配。

第四部分：幂律为什么能指导商业下注？

Lilian Weng 的《Scaling Laws, Carefully》讨论的核心，是模型规模、数据和损失之间经常呈现幂律关系。简化写法是：

L(N) \approx A N^{-\alpha} + E

如果取对数，会接近一条直线：

\log L(N) \approx -\alpha \log N + \log A

这听起来像数学细节，但商业含义非常大：

如果小规模实验设计严谨，就可以用它估计更大规模训练的收益曲线。

换句话说，AI 公司不是完全盲目烧钱。它们会先做小模型实验，看对数图上的斜率，再判断继续放大是否值得。

这相当于 CFO 能看懂的投资回报曲线：

算力增加 10 倍，损失能降多少？
继续买 GPU 还有多少边际收益？
是继续扩大模型，还是改数据、改架构、改产品定位？

规模法则不能保证成功，但它让大模型训练从“豪赌”变成“带仪表盘的豪赌”。

第五部分：高维流形和 token 浪费，用商业语言怎么理解？

“高维数据流形”听起来像纯数学词汇，但它可以用商业语言解释。可以把现实世界知识理解成一个很复杂但有结构的地图。

语言、代码、图片、业务文档并不是随机噪音。它们有内在规律。深度学习的目标，就是用参数去逼近这些规律。理论上，误差可能呈现类似：

\text{Error} \propto N^{-\frac{k}{d_{\text{eff}}}}

这里的 $d_{\text{eff}}$ 可以粗略理解为“知识结构真正有效的复杂度”。

商务翻译如下：

如果模型和数据不能有效对准真实业务结构，很多 token 和算力会被浪费在噪音、重复、低价值文本和无关模式上。

这解释了为什么企业数据治理会变得重要。不是所有数据都值得喂给模型。高质量、结构化、带反馈的业务数据，可能比一大堆低质 token 更有价值。

未来企业真正的 AI 资产，可能不是“能调用一个大模型”，而是：

高质量业务流程数据。
专家标注和用户反馈。
对高成本业务错误的清晰定义。
把模型输出接回流程、形成持续学习闭环的能力。

第六部分：Kaplan 与 Chinchilla 的商业纠偏

OpenAI 2020 年 Kaplan scaling laws 给行业一个强烈信号：当算力增加时，应该更偏向把模型做大。

它可以被简化写成：

L(N, D) = A N^{-\alpha_N} + B D^{-\alpha_D} + E

同时受算力约束：

C \approx 6ND

当时的结论倾向于“大模型、相对少数据”。这帮助解释了 GPT-3 这类大参数模型为什么成为主流路线。

但 DeepMind 2022 年 Chinchilla 论文提出重要修正：很多模型不是参数不够，而是训练 token 不够。也就是说，行业可能过早追求更大的模型，却没有让模型充分学习足够多的数据。

Chinchilla 的形式可以写成：

L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}

在固定 $C$ 下，最优规模大致满足：

N_{\text{opt}} \propto C^{\frac{\beta}{\alpha + \beta}}, \quad D_{\text{opt}} \propto C^{\frac{\alpha}{\alpha + \beta}}

不用背公式。记住商业结论就够了：

不要只看参数量排行榜。一个更小但训练更充分、数据更干净、推理更便宜、治理更容易的模型，可能更适合企业。

这对企业选型很关键。企业购买的不是“最大模型”，而是“在具体业务错误成本下，性价比最高、可治理性最好的能力”。

第七部分：商务人士最常问的七个问题

1. 企业要不要从零训练自己的大模型？

大多数企业不需要。通用大模型训练需要巨额算力、研究团队、数据工程和持续迭代。更现实的路线是 API、开源模型、私有化部署或行业模型，再把重点放在数据、流程、评估、安全和业务集成上。

2. 参数越大越好吗？

不一定。参数越大，容量更强，但推理成本、延迟、显存压力和治理复杂度也更高。企业要买的是目标任务上的可靠能力，不是参数数字。

3. 为什么数据会成为战略资产？

因为公开互联网文本不是无限金矿。重复、低质、污染、版权和合规问题都会降低数据价值。真正有壁垒的是高质量业务数据、专家反馈和可持续的数据闭环。

4. 英伟达护城河会不会很快消失？

不会简单消失，但会分层。前沿训练仍高度依赖顶级 GPU、CUDA 生态和数据中心能力；推理侧会更开放，ASIC、云自研芯片、模型压缩和边缘部署都有机会。

5. 新架构和新硬件会不会颠覆成本结构？

有可能，但需要时间。商务判断要看真实任务表现、硬件效率、生态成熟度和迁移成本，而不是只看论文结论。

6. 如果高质量数据见顶，下一步是什么？

行业会更多转向合成数据、专家数据、多模态数据、用户反馈数据，以及推理期算力扩展。也就是不只训练一个更大的模型，还让模型在回答关键问题时多搜索、多验证、多思考。

7. 企业 AI ROI 应该看哪里？

不要只看模型调用费。真正的 ROI 来自业务流程：更短处理时间、更少人工复核、更低错误率、更快决策、更好的客户体验。规模法则解释模型经济学，但企业价值发生在流程里。

下一期：数据稀缺与推理期算力

第一阶段的大模型战争是训练期规模：谁能训练更大的模型，谁能买到更多 GPU，谁能拿到更多数据。

下一阶段会更关注推理期规模：哪些任务值得让模型花更多计算去思考、搜索、验证？哪些任务只需要便宜快速的回答？企业如何把昂贵推理留给高价值决策？

下一篇会继续拆解：当高质量数据越来越贵，test-time compute 和 agent workflow 为什么会成为新的增长曲线。

References

Lilian Weng, Scaling Laws, Carefully, 2026.
Jared Kaplan et al., Scaling Laws for Neural Language Models, 2020.
Jordan Hoffmann et al., Training Compute-Optimal Large Language Models, 2022.
Pablo Villalobos et al., Will we run out of data? Limits of LLM scaling based on human-generated data, 2022.