DeepSeek 的发展并非一蹴而就。最早的 DeepSeek V1 诞生于 2024 年 1 月，拥有 670 亿参数。短短几个月后，V2 版本发布，参数量激增至 2360 亿，并引入了多头隐藏注意力机制和混合专家（MoE）架构，提高了模型的运行效率。同年 12 月，V3 版本问世，参数量达到 6710 亿，并首次在训练中引入强化学习。随后，2025 年 1 月，DeepSeek R1 Zero 作为首个推理模型发布，完全基于强化学习训练，为最终版本 R1 奠定了基础。R1 结合了强化学习和监督微调，性能进一步提升，接近 OpenAI 的顶级模型。
DeepSeek 能以相对较低的成本运行，关键在于它使用了远少于竞争对手的 GPU 进行训练。例如，DeepSeek V3 仅用了 2048 块 Nvidia H800 GPU，而 Meta 在训练 Llama 4 时使用了超过 10 万张。这种高效的训练方式部分归功于 MoE 架构，该架构将模型划分为多个专家网络，每次仅激活最相关的部分，从而减少计算资源消耗，提高推理速度。
除了 DeepSeek，其他公司也在探索 MoE 结构，例如法国的 Mistral 和 IBM 的 Granite。但 DeepSeek R1 之所以特别，是因为它凭借更少的资源，达到了行业领先模型的推理表现，同时降低了训练和运行成本。这标志着 AI 推理模型进入了一个更高效、更透明的新阶段。
