第 0-2B 课
Scaling Law：模型变强，不只有“参数更多”这一条路
参考：来源 H–M · Kaplan、Chinchilla、推理感知 Scaling、Roberts、MoE 与 GLM-5.3
学完你能做到
- 知道 Scaling Law 是经验关系，不是保证未来的自然定律
- 区分参数、训练数据、训练算力、推理算力与后训练
- 理解 Chinchilla 为什么改变了“大模型少训练”的旧路线
- 理解 MoE 的总参数、激活参数和推理能力不能混为一谈
- 能正确解读“同一个底座靠后训练显著变强”意味着什么
Scaling Law 到底是什么
先建立直觉
做饭时，你会发现食材、火力和烹饪时间之间有一种稳定关系：锅变大却不增加食材，味道不会自动变好；只加食材但火力不足，也可能做不熟。Scaling Law 就像从大量实验中总结出的“配比经验”。
第一幕：Kaplan 让行业优先扩大参数
Kaplan 等人在 2020 年研究了参数 N、数据 D 和训练计算 C 与语言模型损失之间的关系。其固定训练预算分析给出近似关系：N ∝ C^0.73，而数据随计算增长得慢得多。工程含义是：预算增加时，优先把模型做大，在相对较少的数据上提前停止训练。这影响了 GPT-3、Gopher、MT-NLG 那一代“更大参数优先”的路线。
第二幕：Chinchilla 发现许多大模型其实没有训练够
Hoffmann 等人在 2022 年训练了 400 多个模型，覆盖 7000 万到 160 亿参数以及 50 亿到 5000 亿训练 token。他们发现，在给定训练算力下，参数规模和训练 token 应大致同步增长：参数翻倍，训练 token 也应翻倍。Chinchilla 用与 280B Gopher 相近的训练计算，只使用 70B 参数但读取约 4 倍数据，结果在大量任务上更好。
第三幕：把模型一生的推理成本算进去
Chinchilla 优化的是训练预算。如果模型只训练一次，却要被调用十亿次，生命周期成本可能由推理主导。Sardana 等人的推理感知 Scaling 研究发现：当预计推理需求很大时，最优点会向更小、训练更久的模型移动。因为每一次调用都要消耗，参数稍小带来的长期节省可能远大于多训练一段时间的成本。
第四幕：MoE 让“参数量”变成两个数字
总参数与激活参数
先建立直觉
一所大学有很多教授，这是总容量；但一名学生解决一个问题时，真正进入会议室参与讨论的只有几位，这是激活计算。教授总数多能覆盖更多专业，不代表每个问题都获得更深讨论。
第五幕：不同能力可能需要不同最优配比
Roberts 等人在 ACL 2025 的研究表明，计算最优 Scaling 会随技能改变：知识型任务和代码推理表现出不同的参数—数据偏好，甚至验证集里两类技能的比例都可能让预测的最优参数量相差接近 50%。MoE 后续实验也提示：更多总专家有利于知识容量，但过度稀疏可能让推理能力饱和或下降；增加实际参与计算的专家，有时比只增加闲置总容量更重要。
| 要提升的能力 | 更可能受益的旋钮 | 不能据此推出 |
|---|---|---|
| 知识覆盖、长尾事实 | 更多有效参数、更多高质量知识数据 | 大参数一定事实正确 |
| 多步推理、代码执行 | 更多相关训练、激活计算、后训练环境、验证 | 知识容量完全不重要 |
| 高频低成本服务 | 更小模型充分训练、蒸馏、缓存和路由 | 小模型在所有任务都更好 |
| 长任务 Agent | 长轨迹 RL、工具环境、状态管理和 Harness | 只靠 RL 就能修复底座知识缺陷 |
GLM-5.3：为什么这是一次有意思的对照实验
Z.ai 在 2026 年发布 GLM-5.3 时强调：它沿用 GLM-5.2 的同一个基础模型，提升来自一个月的长周期环境与强化学习。这相当于暂时固定底座参数和架构，只转动“后训练”旋钮，观察复杂编码、CLI 与长任务能力怎样变化。它支持一个重要工程判断：基础模型里仍可能存在没有被当前训练方式充分释放的能力。
常见误解
只要知道参数量，就能判断两个模型谁更强。
实际上
至少还要知道模型是密集还是 MoE、总参数和激活参数、训练 token 与数据质量、预训练和后训练方法、推理预算、工具与 Harness、运行成本，以及比较使用的任务和评价设置。
模型发布解读练习
20 分钟- 看到“某模型 1 万亿参数”时，列出至少六个必须追问的问题。
- 解释为什么一款 9B 模型可能被训练得比 Chinchilla 最优点更久。
- 为知识问答、数学推理和每天十亿次的客服分类分别选择优先扩展的旋钮。
- 用一句话说明 GLM-5.3 实验支持什么结论，又不支持什么结论。
查看参考答案
要追问总/激活参数、训练 token、数据质量、架构、每次推理计算、后训练、成本和评测。高调用量模型可以用更多一次性训练换取更低的长期推理成本。GLM-5.3 支持后训练仍可显著释放能力，不支持参数与预训练已经无关。
案例推演：同一笔预算，应该训练“大而短”还是“小而久”
团队要部署每天调用一千万次的客服模型。候选 A 参数更多、训练较短；候选 B 较小但训练数据更充分。只比较参数量会忽略训练最优点和整个生命周期的推理成本。
本节追问：当训练成本不再是唯一目标，最优模型为什么会移动？ 先不要急着看结论。沿着下面四步，逐项区分输入、决策、证据和失败信号。
| 阶段 | 本步要做的决定 | 什么算证据 | 最常见的失败 |
|---|---|---|---|
| 写清目标 | 把训练、推理、延迟和质量放进同一成本函数 | 有预计调用量、硬件价格和质量门槛 | 只看一次训练跑了多少算力 |
| 比较配比 | 检查参数、token 与计算量是否匹配 | 同预算下比较多组规模而非单点 | 沿用过时的固定参数比例 |
| 纳入结构 | 区分总参数、激活参数和有效深度 | MoE 的容量与单次计算分别估算 | 把稠密模型的 TPP 直接套给 MoE |
| 验证任务 | 用目标任务测知识、推理与延迟 | 客服基准和真实流量回放共同通过 | 用一个综合榜单替代业务验证 |
阅读方式：先遮住后两列自己回答，再用“证据”和“失败”两列检查理解。
常见误解
选择参数最多的模型
实际上
可观察症状：训练报告漂亮，但线上延迟和总成本失控。
更可靠的修复：按生命周期目标做等质量成本比较，并保留业务任务的消融实验。
案例工作坊 · 建议真正动手完成
25 分钟- 列出训练一次与推理一亿次分别产生的成本项。
- 解释为什么记忆型任务与长链推理可能偏好不同的缩放方向。
- 设计一个能区分“知识容量不足”和“推理深度不足”的小实验。
查看参考答案
Scaling 不是单旋钮。参数、数据、训练计算、推理计算、稀疏激活和后训练都要围绕实际任务与生命周期优化；最值得转动的旋钮会随约束变化。
迁移检查：换一个场景还会不会
高调用量产品选择模型时，哪项最容易被“参数越多越强”遗漏？
检查一下
Chinchilla 最重要的修正是什么？
为什么 MoE 不能只报告一个参数量？
GLM-5.3 同底座提升最直接说明什么？