00先把答案摆出来
按 2026 年工业界的真实训练参数——2 个月训练周期、2% 激活的超稀疏 MoE、数据量约为 Chinchilla 最优的 2 倍——四种集群能训出的模型参数上限如下。下面六节全是推导这个表的过程，以及为什么每个数字都不能随便改。
| 集群规模 | GB300 MoE（2% 激活） | Rubin MoE（2% 激活） | GB300 稠密 | Rubin 稠密 |
|---|---|---|---|---|
| 1 万卡 / 2 个月 | ~3.4T69B 激活 | ~5.2T105B 激活 | ~0.6T | ~0.9T |
| 10 万卡 / 2 个月 | ~11T218B 激活 | ~17T332B 激活 | ~2.0T | ~3.0T |
一句话校验：1 万卡 GB300 算出 3.4T，与当前"3T 级 MoE 要万卡 B300"的产业现实基本吻合（误差 15% 以内）。10 万卡 Rubin 的 17T，则对上了 Grok-5 / GPT-6 这一代 10T+ 模型需要十万卡级集群的军备逻辑。下面解释这些数字怎么来的。
01两道约束：装得下 vs 训得动
训练一个大模型，硬件上同时卡两道关。第一道是显存——模型权重、梯度、优化器状态、激活值得装得下。FP8 训练加 8-bit 优化器，每参数大约 10 字节；BF16 加 FP32 AdamW，每参数约 20 字节。第二道是算力——你得在合理周期（前沿大模型一般 2 个月）内把训练跑完，否则再大的集群也等于零。
容易犯的第一个错，就是把第一道关当成唯一约束。一个 NVL72 机柜有 20.7 TB HBM，FP8 下能"装下"约 2 万亿参数的权重加优化器——于是得出"单机柜能训 2T"的结论。这个数字在显存维度是对的，但毫无意义。最硬的反例是 GPT-4：1.8 万亿参数的权重加优化器只需约 461 张 A100-80GB 就能装下（arXiv 2506.15006 的测算），可 OpenAI 实际用了约 2.5 万张 A100 跑了 90 天。多出来的五十倍算力，没有一分钱花在"装"上，全花在"训"上。
把两道约束画在一张图上就更直观。横轴是集群规模，黄线是"显存能装下的参数"，蓝线是"算力能在 2 个月内训完的参数"。黄线永远远远高悬于蓝线之上——在万卡以上规模，显存约束永远不会先触发，算力才是真正的天花板。最大的那个场景，10 万卡 Rubin、17T 模型，显存占用率还不到 0.6%。所以本文剩下全部篇幅都在算蓝线，黄线只在第一节出现一次，证明它不构成约束。
02算力框架：C = 6 × N_active × D
训练一个 token，前向加反向的总浮点运算量约为活跃参数量的 6 倍。对稠密模型，活跃参数就是全部参数；对 MoE，只有被路由激活的那一小撮专家参与计算，所以算力只花在活跃参数上——这正是 MoE 的全部意义：用一份算力的钱，买到几倍、几十倍的总参数容量。把训练 token 数记作 D，总训练算力就是：
接下来是关键的一步联立。Chinchilla（Hoffmann 2022）告诉我们，算力最优时训练 token 数应配总参数，比例约 20:1，即 D ≈ 20 × N_total。把 MoE 的稀疏度记作 s = N_total / N_active（总参数 ÷ 活跃参数），代入：
→ N_total = √( s × C / (6R) ) ， N_active = N_total / s
这里 R 是"每总参数喂几个 token"。Chinchilla 最优 R=20；下一节会论证工业界实际 R 要高一倍。这个公式就是整篇文章的骨架：给定集群算力 C 和稀疏度 s，超训倍数 R，能撑起的最大总参数开根号地长。稠密模型是 s=1 的特例，N = √(C / 6R)。
三条开根号规律，是后面所有敏感性分析的钥匙：参数量随训练时间、有效算力、稀疏度都开根号增长，随超训倍数开根号下降。所以训练周期从 6 个月砍到 2 个月，参数不是减三成而是减 √3 ≈ 1.73 倍；稀疏度从 15 倍提到 50 倍，参数涨 √(50/15) ≈ 1.83 倍。
03为什么 Chinchilla 是错的：超训的三个机制
Hoffmann 2022 那条 20:1，是 DeepMind 在小模型、短训练上拟合出来的。到了前沿尺度，它系统性地低估了该喂多少数据。原因有三个，而且每一个都能在公开的技术报告里找到佐证。
Chinchilla 优化的是"每 FLOP 的最低 loss"，只算训练账。但模型训完是要服役好几年的，推理才是长尾大头。用更多训练算力换一个更小、更聪明的模型，推理端能省下数倍的 token 成本。Meta 在 Llama 3 技术报告里把这层账算得很直白：Llama 3 405B 用了 15 万亿 token，每参数约 37 个——几乎是 Chinchilla 最优的两倍。到了更小的 Llama 3.1 8B，每参数喂到 1875 个 token，超训近百倍，纯粹是为了推理便宜。论文的 20:1 完全解释不了这种规模化超训。
当稀疏度推到 2% 激活（s=50），意味着 50 组专家每组平均只见 2% 的 token。要把路由器训得准、把每个专家都训到位，总 token 量必须远超稠密模型的 Chinchilla 点——否则某些专家欠训、路由坍塌。这是 MoE 独有的额外数据需求，Chinchilla 当年根本没有这种架构的样本。
Chinchilla "最优"是最小 loss-per-FLOP 的拐点，但拐点之后 loss 仍在下降，只是边际变缓。当数据质量足够高、token 足够多时，"训更久"换来的智能仍在涨，只是单位算力的回报降低了——而对一个要服役多年的模型，这点回报仍然值得付。Llama 4 Behemoth 用了 30 万亿+ token、是 Llama 3 的两倍多，就是这个逻辑。
把真实模型标在"参数 × token"的图上，超训图景一目了然。下图横轴是总参数（对数），纵轴是训练 token（对数），金线是 Chinchilla 的 20:1，红线是工业界实际甜区的约 40:1。可以看到：GPT-4 和 GPT-3 落在金线之下（当年欠训）；DeepSeek V3 几乎贴着金线（22:1，基本 Chinchilla）；Llama 3 405B 明显跑到红线上方（37:1）；越小的模型飞得越高（Llama 3.1 8B 超训百倍）。前沿大模型的甜区，已经从论文的 20:1 上移到 30-40:1。
最硬的反推来自一道倒算题。已知"3T 级 MoE 用 1 万卡 B300 训 2 个月"，用后面标定的有效算力反算隐含的 token 量：约 160 万亿。除以 3T 总参数，每参数约 53 个 token——是 Chinchilla 的 2.6 倍。结合 DeepSeek V3 的 22:1、Llama 3 的 37:1，前沿大模型的实际超训倍数稳定落在 Chinchilla 的 2 到 2.5 倍区间。本文取 R=40（2 倍 Chinchilla）做测算，它正好能复现 3T/万卡的产业锚点。
论文的 20:1 是 2022 年小模型拟合的下界，到 2026 年前沿大模型实际甜区在 30-50:1。这不是论文做错了，而是它的实验尺度够不着今天：推理摊销、超稀疏路由、海量高质量数据三个机制，在小模型短训练里根本显不出效应。所以任何用 20:1 直接套前沿集群的测算，都会系统性高估能训的参数量约 √2 倍。
04稀疏度的杠杆：从 18 倍到 50 倍
稀疏度 s 是 MoE 测算里最锋利的一把刀。从公式 N_total = √(s × C / 6R) 看，总参数随稀疏度开根号增长——稀疏度翻倍，能撑的总参数只涨 √2 ≈ 1.41 倍，不算夸张；但稀疏度从 DeepSeek V3 的 18 倍（5.5% 激活）推到今天前沿的 50 倍（2% 激活），就是 ×1.83 的差距，足以把 3T 推到 5T。这就是为什么 2026 年所有前沿模型都在往更稀疏的方向走：同样一份算力，多切几组专家，就能换更大的总参数容量，而算力账几乎不变（只花在活跃参数上）。
但这笔交易有代价：稀疏度越高，路由开销越大，模型 FLOP 利用率（MFU）越低。DeepSeek V3 在 s=18 时 MFU 约 33%；推到 s=50，路由通信更密，MFU 可能掉到 25-30%。所以稀疏度不是白吃的午餐——它换来的是总参数容量，付出的是单位算力效率。本文的有效算力标定里已经隐含了这层折扣。
05参数标定：从 DeepSeek 反推有效算力
公式骨架有了，喂进去的"有效算力"必须用真实训练数据反推，不能拍脑袋。最干净的锚点是 DeepSeek V3：671B 总参数、37B 激活（s=18）、2048 张 H800、约 60 天、14.8 万亿 token、278.8 万 GPU-小时。技术报告写得很清楚——每万亿 token 只要 18 万 H800 小时。
用模型算力 C = 6 × 37B × 14.8T = 3.29×10²⁴ FLOPs，除以 GPU-小时数，反推 H800 实测约 327 TFLOPS/卡，FP8 MoE 的 MFU 约 33%。这个数字和 Meta 披露的 Llama 4 Behemoth（3.2 万张 H100、FP8 实测 390 TFLOPS/卡）量级一致，互相印证。
B300 的 FP8 峰值约是 H100 的 3.4 倍（3375 vs 989 TFLOPS dense），叠加 Blackwell 的 MFU 红利，反推 B300 MoE 实测约 1.1 PFLOPS/卡，稠密约 1.8 PFLOPS。Rubin 按 NVL72 训练算力 2.5/1.1 EFLOPS 的 2.3 倍比例标定：MoE 约 2.55 PFLOPS/卡，稠密约 4.1 PFLOPS。把 DeepSeek 的数代回公式做交叉验证：C=3.29×10²⁴、s=18、R=20（Chincilla）→ N_total = √(18 × 3.29e24 / 120) = 702B，实际 671B，误差 5%。骨架可信。
06最终测算 + 锚点验证
把标定好的参数一次性代入：训练周期 2 个月（60 天）、稀疏度 s=50（2% 激活）、超训 R=40（2 倍 Chincilla）、B300 MoE 1.1 PFLOPS、Rubin MoE 2.55 PFLOPS。公式 N_total = √(s × C / 6R)，C = 卡数 × 有效算力 × 时间。下图把四种集群的 MoE 与稠密上限并排，蓝色是 MoE、灰色是稠密——MoE 杠杆一目了然。
两个锚点交叉验证：其一，1 万卡 B30 算出 3.4T，与"3T 级 MoE 要万卡 B300"的现实吻合；其二，反推 xAI 为 10T 的 Grok 5 拼百万卡集群——用本文框架，100 万张 Hopper 级别卡在 2 个月内能撑约 5.9T，要够 10T 就得堆到百万卡量级、或拉长到 4 个月、或换 Rubin。这正好解释了 xAI 为什么非百万卡不可。两个独立现实锚点都落在框架预测的区间内。
07投研含义：Rubin 的红利在集群尺度才兑现
三句话收口。第一，1 万卡 B300 是当前 3T 级 MoE 的标配基线，对标 DeepSeek V3→V4、Llama 4 Maverick 这一代；1 万卡 Rubin 把基线推到 5T 级。第二，要摸到 10T+（Grok-5、GPT-6 量级），得 10 万卡 B300 或 6 万卡以上 Rubin——这正是 xAI 拼百万卡、Meta 和微软堆 5 到 10 万卡 B300 的军备逻辑。第三，Rubin 相对 GB300 在集群尺度上的红利稳定在约 2.3 倍（训练算力比），不随训练周期、稀疏度、超训倍数这三个修正改变，因为它们对两代卡是等比例的。
但 Rubin 在单卡、单柜尺度上，"可训练参数上限"和 GB300 完全一样——都是 288 GB/封装的 HBM。NVIDIA 这一代没有把晶体管预算花在堆显存容量上，而是全砸进了带宽（22 vs 8 TB/s，2.75 倍）和算力。所以从 GB300 到 Rubin，单机柜的参数天花板没动，价值只在集群尺度上体现为"能训更大"，在单柜尺度上只体现为"训同样大的模型更快"。这两句话的差别，就是测算时最容易看漏的那一层。
其一，凡是用单机柜/单卡显存推"能训多大模型"的，一律低估——显存在集群尺度下永远不是约束，算力才是。
其二，凡是用 Chinchilla 20:1 直接套前沿集群的，一律高估约 √2 倍——工业甜区已上移到 30-50:1。
其三，参数量随时间、算力、稀疏度都开根号——把训练周期从 6 个月砍到 2 个月，参数不是线性减三成而是减 √3。开根号是这整门手艺的底色。