
国外技术达人 New Machina 在一段 5 分钟的视频中,清晰梳理了 DeepSeek 的发展历程,展现了其在短短两年间的快速演进。
DeepSeek 的发展始于 2023 年 11 月,当时团队推出了首个版本 V0。这一版本采用 Transformer 架构,提供 70 亿 和 670 亿 参数两个规模,并支持中英双语,展现出不俗的实力。
进入 2024 年,DeepSeek 迎来了更为显著的技术跃迁。1 月发布的 V1 版本 首次引入 混合专家(MoE)架构,总参数规模增长至 1600 亿。五个月后,进一步升级至 V2 版本,集成了多头潜在注意力机制(MLA),参数量激增至 2360 亿,同时将上下文长度扩展至 128K。这一版本还衍生出了 V2 Lite、Coder V2 等专为特定任务优化的变体。
2024 年 12 月,V3 版本问世,参数规模达到了惊人的 6710 亿,标志着 DeepSeek 在大规模模型训练上的又一次突破。进入 2025 年初,团队的研发重心开始向推理能力的优化倾斜,陆续推出了 R1-Zero(完全依靠强化学习训练)以及 R1 版本(在数学推理、逻辑推理和编程能力方面达到 GPT-4 级别),进一步强化了模型的智能表现。
2025 年 1 月,DeepSeek 还发布了一系列蒸馏模型,在大幅缩小体积的同时依然保持卓越性能,使其更适用于现实场景的部署。这些模型实现了从混合专家架构到 Transformer 的跨架构迁移,这一创新性的知识蒸馏技术不仅提升了模型的可用性,也在深度学习领域开辟了新的可能性。
DeepSeek 的崛起,让我们对大模型的发展带来了更多启发和思考。是要继续沿着参数规模扩张的路径前进,还是要更多地关注高效推理和知识压缩?或许,DeepSeek 的演化轨迹,正代表着 AI 研究从 “规模驱动” 向 “能力驱动” 转变的关键节点。
评论(0)