MIT-IBM 团队发布大规模语言模型扩展定律系统性指南
训练大型语言模型往往耗资数百万美元。在预算有限的情况下，研究人员需要在模型架构、优化器和数据集选择等关键决策上精打细算。传统做法是通过扩展定律（ scaling laws ）来预测大模型性能：用规模更小的模型来估算目标大型模型的预测质量。然而，面对数千种可能的扩展定律构建方式，如何选择一直缺乏系统性的参照标准。
MIT-IBM Watson AI Lab 研究团队近日解决了这一困境。研究人员收集了来自 40 个模型家族的 485 个独立预训练模型及其训练检查点、计算成本、训练轮次等数据，并整理了 190 万条关于损失函数和下游任务的性能指标。基于这些数据，研究团队拟合了超过 1000 条扩展定律，并对比了它们在不同架构、模型规模和训练策略下的预测准确性。
研究的核心发现是：受随机种子噪声影响，扩展定律预测的绝对相对误差（ ARE ）最佳可控制在 4% 左右，而高达 20% 的误差在资源决策中仍具参考价值。具体而言，将中期训练检查点纳入分析能显著提升预测可靠性，但训练初期、 10 亿 tokens 之前的数据噪声较大，应当舍弃。研究建议优先在不同规模区间训练多个模型，而非一味追求大模型，五模型起步可提供稳健的预测基础。在成本受限的情况下，也可以仅训练目标模型家族中一个较小规模模型，借用架构相近家族的扩展定律参数。
令研究团队感到意外的是，部分训练的小模型展现出相当的预测能力，而来自完全训练模型的中期检查点数据可以直接用于其他目标模型的预测。更出乎意料的是，扩展定律在大型模型和小型模型之间表现出强相关性。此前学界普遍认为小模型与大规模模型存在本质差异。
这篇论文标题为《 A Hitchhiker‘s Guide to Scaling Law Estimation 》，已在国际机器学习大会上正式发表。研究人员下一步计划将分析扩展至模型推理阶段，探讨推理时长与性能的关联。
创艺洞察
这项研究的价值不仅在于提供了操作指南，更在于它揭示了一个长期被忽视的事实：扩展定律并非黑箱，不同模型家族之间存在可迁移的高层规律。三个超参数便能解释几乎全部行为变异，这意味着资源受限的研究者有了更公平地参与大模型研究的可能。与此同时，研究团队对推理阶段扩展定律的布局更具前瞻性。当训练成本相对固定而推理需求持续增长时，能够预判推理资源需求的理论框架将成为下一代模型开发的核心基础设施。
