AI Scaling Laws：Kaplan、Chinchilla と訓練レシピ

**先に結論：**AI scaling laws は、固定予算でモデルサイズ、訓練データ、計算量をどう配分するかを見積もる考え方です。Kaplan と Chinchilla が異なるレシピに至ったことは、実験設定の重要さを示します。きれいな曲線でも、学習不足や learning-rate schedule を反映しているだけかもしれません。

前回の記事では、Lilian Weng の「Scaling Laws, Carefully」を手がかりに、生成AIの背後にある重要な数学を整理しました。

モデル性能、パラメータ数、訓練データ、計算量の間には、しばしば予測可能なべき乗則が現れる。

今回はその続編です。

Diogo Almeida の「Scaling Laws, Honestly」は、この話に現実世界の補正を入れてくれます。スケーリング則は重要です。ただし神託ではありません。「とにかく大きくすれば自然に良くなる」という話ではありません。むしろ本当の価値は、次の問いにあります。

次の1ドルは、大きなモデルに使うべきか、より多いデータに使うべきか。
小さな実験から、大きな訓練を予測できるのか。
log-log グラフのきれいな直線は、本当に法則なのか。それとも訓練設定の影なのか。
企業や投資家にとって、どのAIストーリーは「パラメータ崇拝」で、どれが再現可能な能力曲線なのか。

先に結論を言います。

Diogo の文章は scaling laws を否定しているのではありません。実験設計が甘いと、悪い訓練レシピが数学法則のように見えてしまう、と警告しています。

これは事業判断に直結します。AI投資で危ないのは、数学を知らないことだけではありません。校正されていない計器盤を、ハンドルだと思い込むことです。

16歳向けの物語

難しい試験に向けて、一人の学生を育てると想像してください。

あなたは三つのものにお金を使えます。

学生の脳を大きくする。これはモデルのパラメータ数 $N$ を増やすことに似ています。
練習問題を増やす。これは訓練 token 数 $D$ を増やすことに似ています。
学習時間と先生を増やす。これは総計算量 $C$ を増やすことに似ています。

最後に見たいのは「脳の大きさ」ではありません。試験でどれだけ間違えるかです。モデル訓練では、この誤りの点数を loss $L$ と呼びます。

Kaplan 的な初期の直感は、こう言えます。

予算が増えたら、まず脳を大きくする。練習問題は同じ速度で増やさなくてもよい。

Chinchilla の補正はこうです。

多くの学生は、脳が小さすぎるのではなく、練習不足だった。脳と練習問題は一緒に増やす必要がある。

Diogo はさらに一言加えます。

大きな脳の学生にも同じくらいの練習問題しか与えず、しかも終盤で学習スピードを0に近づけたなら、「練習問題はあまり役に立たない」と見えてしまうかもしれない。

これが全体の流れです。

この後の数式は、すべて一つの素朴な問いを丁寧に答えているだけです。

同じ予算なら、「大きな脳」と「多い練習問題」のどちらに使うべきか。

四つの変数だけ押さえる

大規模言語モデルの訓練では、まず四つの量だけ覚えれば十分です。

$N$ ：モデルのパラメータ数。脳の容量、または工場の大きさ。
$D$ ：訓練 token 数。練習問題、または工場に入る原材料。
$C$ ：訓練計算量。総学習予算、電力、GPU時間。
$L$ ：loss。試験の間違い率。低いほど良い。

訓練コストはよく次の近似式で書かれます。

C \approx 6ND

意味は単純です。工場が大きく、原材料も多ければ、必要な電力と機械時間も増えます。

古典的なスケーリング則は、loss を次のように書きます。

L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}

記号に圧倒される必要はありません。言っていることは三つです。

$E$ はなかなか消えない底のノイズです。
パラメータ $N$ を増やすと loss は下がります。ただし限界効果は逓減します。
データ $D$ を増やしても loss は下がります。こちらも限界効果は逓減します。

したがって事業上の問いはこうなります。

予算が固定なら、より大きなモデルを買うべきか、より多いデータを食べさせるべきか。

これが Kaplan と Chinchilla の違いの核心です。

Kaplan と Chinchilla は何が違うのか

OpenAI の 2020 年 Kaplan scaling laws は、より大きなモデルに寄った結論を与えました。計算量が増えるとき、モデルサイズは訓練データより速く増やすべきだ、という見方です。

DeepMind の 2022 年 Chinchilla は、これを修正しました。当時の多くの大規模モデルは「大きすぎて、十分に訓練されていない」可能性が高い。固定計算量のもとでは、少し小さめのモデルに、より多くの token を与える方がよい場合がある、という主張です。

表で見ると分かりやすいです。

問い	Kaplan型の答え	Chinchilla型の答え
計算量が増えた時、何を優先して増やすか	主にパラメータ $N$	パラメータ $N$ とデータ $D$ を一緒に増やす
最適モデルはどう見えるか	大きい。訓練は相対的に浅くてもよい	やや小さいが、より十分に訓練される
代表的な指数	$N_{\text{opt}} \propto C^{0.73}$	$N_{\text{opt}} \propto C^{0.50}$
事業翻訳	容量を買う	容量と原材料を合わせる

訓練計算量が10倍になると、二つのレシピはこう違います。

10倍計算量でのKaplan型とChinchilla型の配分比較

図1：同じ10倍の訓練計算量でも、Kaplan型はモデルをより大きくし、Chinchilla型はモデルとデータを近い速度で増やします。

これは小さな学術的差ではありません。数億ドル規模の訓練予算に直結します。

企業顧客にとっては、「最大モデル」を信じるべきか、それとも自社タスクで十分に訓練され、費用対効果が良いモデルを選ぶべきか、という判断になります。

投資家にとっては、GPUクラスタの規模だけを見るのか、データ品質、訓練レシピ、推論コスト、製品のフィードバックループまで見るのか、という違いになります。

次の二つの Python 図は、数式を図形に変えたものです。最初は2D等高線です。横軸がモデルサイズ、縦軸が訓練データ、白い斜線が固定計算量 $C \approx 6ND$ を表します。二つ目は3D曲面です。loss は谷のような形をしていて、訓練戦略は予算内で最も低い場所を探す行為です。

固定計算量線つきのスケーリング則 loss 等高線

図2：明るい場所ほど loss が低い。固定予算は斜めの線です。最適点は最も右でも最も上でもなく、モデルとデータのバランスにあります。

計算最適な谷を示すスケーリング則 loss 曲面

図3：3Dで見ると、最適訓練は予算線に沿って谷底を探すことに近いです。

アニメーションにするとさらに直感的です。予算が1倍から100倍へ増えると、白い予算線が外へ動きます。赤い点は、その予算で最も割に合う位置です。

予算フロンティアのアニメーション

図4：予算が増えても、単純に右へ進む「モデルだけ大きくすればよい」ではありません。最適経路は多くの場合、モデルとデータを一緒に増やします。

下のインタラクティブな砂場でも試せます。研究用シミュレーターではなく、直感を作るためのものです。モデル側のリターン、データ側のリターン、予算を動かすと、金色の点がどう移るかを見てください。

Interactive Scaling Law Explorer

スライダーで、予算の置き場所を見る

モデルを工場、訓練データを原材料だと考えてください。色が濃いほど損失は低く、金色の点が現在の予算で最も割に合う場所です。

モデル拡大の価値0.34大きいほど、「工場」を広げることが誤りを減らしやすいことを示します。データ追加の価値0.36大きいほど、練習問題や原材料を増やすことが誤りを減らしやすいことを示します。計算予算の倍率10x総予算が固定なら、モデルを大きくしすぎるほどデータに使える予算は減ります。逆も同じです。

現在いちばん割に合う伸ばし方

モデル規模: N_opt ∝ C^0.51

訓練データ: D_opt ∝ C^0.49

二つの指数が 0.5 に近いほど、Chinchilla 的に工場と原材料が一緒に伸びます。

2D：損失マップ

金色の線は固定計算量の制約

3D視点：損失曲面

低い場所ほど誤りが少ない

同じ 10x の計算量増加を、二つの配分はどう使うか

Kaplan 型

パラメータ N5.4x

データ D1.9x

Chinchilla 型

パラメータ N3.2x

データ D3.2x

見る時は三つだけ覚えてください。

横軸はモデルサイズです。
縦軸は訓練データです。
金色の点は、今の予算で最も割に合う場所です。

Diogo が言う bug の本質

Diogo は Kaplan 側の設定に bug があったと言います。私はこれを次のように訳します。

見えていない変数が実験に入り込み、「大きいモデルの方が、データより重要だ」と見せてしまった。

論文が推定したかったのは、次の関係です。

L = f(N, D)

つまり、loss はパラメータ数とデータ量で決まる、という関係です。

しかし実際の訓練には、隠れた設定 $S$ があります。

L_{\text{true}} = f(N, D, S)

$S$ は、学習率 schedule、訓練ステップ数、データの重複、tokenizer、optimizer などを含みます。

$S$ をうまく制御しないと、「モデルを大きくした時に何が起きるか」を測っているつもりで、実は「訓練レシピがどこでブレーキを踏んだか」も一緒に測ってしまいます。

これは、車の馬力と速度の関係を調べたいのに、車ごとにブレーキの踏み方が違うのを忘れているようなものです。曲線はきれいでも、馬力だけを測っているとは限りません。

第一の問題：固定 token 数だと、大モデルは訓練不足になりやすい

Kaplan の実験では、多くの場合、異なるモデルサイズに対して固定の訓練 token 数が使われました。Diogo はここに問題を見ます。小さいモデルと大きいモデルが同じ token 数を読んでも、パラメータ一つあたりの訓練材料はまったく違います。

単純化するとこうです。

モデルパラメータ $N$	訓練 token $D$	パラメータあたり token： $D/N$
1B	130B	130
10B	130B	13
100B	130B	1.3

事業直感は明確です。

工場が大きいほど、必要な原材料も増えます。原材料が増えなければ、追加した設備は遊びます。

大モデルが十分なデータを食べていないと、「データを増やしてもあまり効かない」と見えてしまう可能性があります。しかしこれはデータが重要でないという意味ではありません。データ軸を十分に広げて実験していない、という問題かもしれません。

線形代数の言葉で言えば、パラメータは巨大な自由度の空間を作ります。自由度が多いほど、それを縛る観測も多く必要になります。

学生の言葉に戻せば、脳が大きいほど学べることは増えます。しかし能力を引き出すには、十分な練習問題が必要です。

第二の問題：学習率が0へ落ちると、訓練が飽和したように見える

モデルのパラメータ更新は、ざっくり次のように書けます。

\theta_{t+1} = \theta_t - \eta_t \nabla L(\theta_t)

ここで：

$\theta_t$ は時点 $t$ のモデルパラメータです。
$\nabla L(\theta_t)$ は「どちらへ動けば誤りが減るか」を示す勾配です。
$\eta_t$ は学習率、つまり一歩の大きさです。

Kaplan の実験では、warmup の後に cosine decay で0へ近づく学習率 schedule が使われました。簡略化するとこうです。

\eta_t = \frac{\eta_0}{2}\left(1 + \cos\frac{\pi t}{T}\right)

$t$ が訓練終点 $T$ に近づくほど、 $\eta_t$ は0に近づきます。

意味は単純です。

学習率がほぼ0なら、勾配がまだ改善方向を指していても、モデルはほとんど動きません。

すると訓練曲線は平らになり、「もう学び終わった」ように見えます。しかし Diogo の指摘は、これは「データがもう役に立たない」ことの証明ではなく、「学習率が訓練を止めた」だけかもしれない、という点です。

cosine学習率が0へ衰減する図

図5：訓練終盤で学習率が0に近づくと、loss 曲線の平坦化は「データ無効」ではなく、「モデルがほぼ更新されていない」だけかもしれません。

アニメーションで見ると、まさにブレーキです。

学習率衰減のアニメーション

図6：終盤では学習率が小さくなり、勾配があっても更新幅はほぼ止まります。

固定 token 数と、0へ落ちる学習率 schedule が組み合わさると、大モデルが本当はもっとデータを必要としていることが見えにくくなります。

第三の問題：小さな世界の結論を、広い世界へ外挿した

Diogo の三つ目の指摘は少し繊細です。

最大 token 数が固定され、学習率 schedule も特定の終点へ向かう。その小さな世界の中だけなら、結果が schedule にあまり敏感でないように見えるかもしれません。

しかし scaling laws が答えたい問いはもっと大きいです。

計算量、パラメータ、データをさらに拡大するとき、どう配分すべきか。

これは外挿です。

分かりやすく言えば、小テスト数回だけを見て、大学入試の点数を予測するようなものです。線はきれいでも、少しの傾きの違いが巨大な予算差になります。

loss L
^
|\
| \     小規模実験の領域：直線に見える
|  \
|   \____
|        \        外挿領域：小さな傾きの違いが
|         \____   巨大な予算差になる
+--------------------------> scale log(N), log(D), log(C)

これは Lilian Weng の文章が繰り返し強調していた点でもあります。スケーリング則の式はきれいでも、推定は変数定義、実験範囲、loss 精度、訓練設定に敏感です。

数学の本質：スケーリング則は限界リターンの比較である

中心の式に戻ります。

L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}

計算量が固定だとします。

C \approx 6ND

すると $D$ は次のように書けます。

D = \frac{C}{6N}

これを loss の式へ代入します。

L(N) = E + A N^{-\alpha} + B\left(\frac{C}{6}\right)^{-\beta}N^\beta

この式はゆっくり読む価値があります。

第一項 $A N^{-\alpha}$ は、モデルが大きいほど loss が下がる、という力です。

第二項 $B\left(\frac{C}{6}\right)^{-\beta}N^\beta$ は、固定予算ではモデルを大きくしすぎると、データに回せる予算が減り、loss が上がる、という力です。

つまり最適点は「大きければ大きいほど良い」ではありません。二つの力が釣り合う場所です。

$N$ で微分して0にすると、次の形になります。

\alpha A N^{-\alpha-1} = \beta B\left(\frac{C}{6}\right)^{-\beta}N^{\beta-1}

導出を暗記する必要はありません。事業翻訳はこれです。

最適な訓練規模とは、最後の1ドルを「モデル容量」に使った場合と、「訓練データ」に使った場合の loss 改善が、だいたい同じになる場所です。

これが scaling law の本質です。規模を崇拝しているのではありません。限界リターンを比較しているのです。

だから実験設定によって「データの限界価値」が低く見えると、結論は大モデル寄りになります。モデルサイズと token 予算をより体系的に調べると、結論はモデルとデータのバランスへ戻ります。

企業への示唆

第一に、パラメータ数でモデルを買ってはいけません。

パラメータ数は容量であって、事業価値ではありません。企業が本当に買うものは次です。

対象タスクでの誤り率。
1回あたりの推論コスト。
レイテンシ。
制御可能性とコンプライアンス。
業務フローへの組み込みやすさ。

十分に訓練され、推論が安く、評価が安定している70Bモデルの方が、高価で遅く統制しにくい175Bモデルより企業に合う場合があります。

第二に、データガバナンスはITの雑務ではありません。AI時代の貸借対照表の中心です。

Chinchilla の方向が正しいなら、データは副次的な原料ではありません。モデル容量と同じくらい重要な資本支出の対象です。企業は次を問うべきです。

どの業務データが高品質で、重複が少なく、利用権が明確か。
どの専門家フィードバックを継続的に回収できるか。
どの誤りには明確な事業コストがあり、評価セットにできるか。
どの業務フローなら、モデルが使われるほど現場を理解できるか。

第三に、訓練曲線を事業曲線につなげる必要があります。

事前訓練 loss が下がっても、自動的に ROI が上がるわけではありません。

企業は自社の写像を作るべきです。

\Delta L \rightarrow \Delta \text{業務エラー率} \rightarrow \Delta \text{キャッシュフロー}

たとえば：

カスタマーサポート：誤り率低下は人間へのエスカレーションを減らすか。
財務：抽出ミス低下はレビュー時間を減らすか。
営業：生成品質の向上は返信率を上げるか。
法務：幻覚低下はコンプライアンスリスクを減らすか。

この写像がなければ、強いモデルも技術デモにとどまります。

投資判断への示唆

ここからは投資助言ではありません。AI企業と産業チェーンを見るための分析枠組みです。

私はAI投資判断を三つの曲線に分けます。

曲線	問うべきこと	良いシグナル	危険シグナル
技術曲線	小さな実験は大きな訓練を予測できるか	安定した scaling 曲線と外挿検証	パラメータ数、ランキング、大型発表ばかり
コスト曲線	単位能力あたりコストは下がっているか	推論コスト、遅延、スループットの改善	売上成長が高いCOGSに依存
データ曲線	データは使うほど価値が増すか	専有データ、フィードバックループ、評価セット	汎用的、重複、権利が弱いデータ

ある会社が「我々は scale し続けるから勝つ」と言うなら、私は五つ聞きます。

見ているのは訓練 loss ですか。それとも実業務の指標ですか。
小規模実験から大規模訓練への外挿は、実際の大規模訓練で検証されましたか。
token はユニークで、高品質で、利用権が明確ですか。
強いモデルによる売上増加は、訓練費と推論費を上回りますか。
ユーザーフィードバックは次のモデルや製品優位に戻りますか。

素朴な問いですが、有効です。きれいな物語をかなり取り除けます。

産業方向の見方を少し更新する

第一に、GPU と先端パッケージングは依然として重要です。ただし物語は層に分かれます。

Chinchilla は計算量の重要性を消していません。モデルとデータを一緒に増やすなら、総訓練計算量はなお増えます。ただし予算は「大きなパラメータ」だけでなく、高品質 token、長い訓練、複雑なデータパイプラインにも使われます。

同時に、推論側の重要性も上がります。企業は最強モデル一つをすべてに使うのではなく、モデルルーティングを行います。簡単なタスクは安いモデル、高価値タスクは強いモデルと test-time compute です。

第二に、データ企業と垂直アプリケーションの価値は上がります。

公開インターネット文章の限界価値が下がるなら、本当に希少なのは次です。

業界固有データ。
専門家の注釈とレビュー。
ユーザー行動フィードバック。
高品質評価セット。
モデル出力を業務フローに戻す製品。

こうした資産は GPU より財務諸表で見えにくいですが、長期の粗利率とリテンションを決める可能性があります。

第三に、オープンソースモデルは「裸のモデル能力」の価格を下げ続けます。

訓練レシピが明確になり、最適モデルが必ずしも最大モデルではないと分かるほど、多くの能力は小さく安いモデルでコモディティ化します。事業価値は「モデルを持っている」から、次へ移ります。

いつどのモデルを使うべきか分かっている。
より良いデータと評価を持っている。
モデルを実業務に埋め込める。
同じ結果をより低コストで届けられる。

投資判断ではここが重要です。モデル自体はインフラ化しても、業務フロー、データループ、販売チャネルは複利を生み続ける可能性があります。

一文でまとめる

前回の記事の主張はこうでした。

scaling laws は、AI訓練を盲目的な資金投入から、計器盤つきの大きな賭けに変える。

今回付け加えるべきことはこうです。

その計器盤自体も校正が必要です。そうでなければ、見えている曲線は法則ではなく、実験設定の影かもしれません。

Diogo Almeida の「Scaling Laws, Honestly」の価値は、「昔の論文が間違っていた」というドラマではありません。AI産業の曲線を読む時に、もう一段深く問う態度を与えてくれることです。

この曲線は何を測っているのか。
隠れた変数は何か。
結論は外挿できるのか。
技術指標は事業キャッシュフローに変わるのか。

企業にとっては、最大モデルを買うのではなく、自社のエラーコストに最も合う能力を買うこと。

投資家にとっては、誰が scale しているかだけでなく、誰が scale の限界リターンを正直に測れているかを見ること。

次回はこの延長として、訓練時 scaling が高くなるほど、test-time compute、agent workflow、モデルルーティング、評価システムがなぜ次の商業戦場になるのかを考えたいと思います。

References

Diogo Almeida, Scaling Laws, Honestly, 2026.
Lilian Weng, Scaling Laws, Carefully, 2026.
Jared Kaplan et al., Scaling Laws for Neural Language Models, 2020.
Jordan Hoffmann et al., Training Compute-Optimal Large Language Models, 2022.
Tim Pearce and Jinyeop Song, Reconciling Kaplan and Chinchilla Scaling Laws, 2024.