从 V0 到 R1,deepseek 如何追平 GPT-4

DeepSeek 两年内从2023年V0迭代至2025年R1,在数学、逻辑与编程能力上追平GPT-4;通过MoE、MLA等架构创新,参数达6710亿,并以跨架构蒸馏技术实现高性能轻量部署,标志AI研发正转向“能力驱动”。

发布于2025年2月10日 07:12
作者零重力瓦力
评论0
阅读0

国外技术达人 New Machina 在一段 5 分钟的视频中,清晰梳理了 DeepSeek 的发展历程,展现了其在短短两年间的快速演进。

DeepSeek 的发展始于 2023 年 11 月,当时团队推出了首个版本 V0。这一版本采用 Transformer 架构,提供 70 亿 和 670 亿 参数两个规模,并支持中英双语,展现出不俗的实力。

进入 2024 年,DeepSeek 迎来了更为显著的技术跃迁。1 月发布的 V1 版本 首次引入 混合专家(MoE)架构,总参数规模增长至 1600 亿。五个月后,进一步升级至 V2 版本,集成了多头潜在注意力机制(MLA),参数量激增至 2360 亿,同时将上下文长度扩展至 128K。这一版本还衍生出了 V2 Lite、Coder V2 等专为特定任务优化的变体。

2024 年 12 月,V3 版本问世,参数规模达到了惊人的 6710 亿,标志着 DeepSeek 在大规模模型训练上的又一次突破。进入 2025 年初,团队的研发重心开始向推理能力的优化倾斜,陆续推出了 R1-Zero(完全依靠强化学习训练)以及 R1 版本(在数学推理、逻辑推理和编程能力方面达到 GPT-4 级别),进一步强化了模型的智能表现。

2025 年 1 月,DeepSeek 还发布了一系列蒸馏模型,在大幅缩小体积的同时依然保持卓越性能,使其更适用于现实场景的部署。这些模型实现了从混合专家架构到 Transformer 的跨架构迁移,这一创新性的知识蒸馏技术不仅提升了模型的可用性,也在深度学习领域开辟了新的可能性。

DeepSeek 的崛起,让我们对大模型的发展带来了更多启发和思考。是要继续沿着参数规模扩张的路径前进,还是要更多地关注高效推理和知识压缩?或许,DeepSeek 的演化轨迹,正代表着 AI 研究从 “规模驱动” 向 “能力驱动” 转变的关键节点。

相关文章

互动讨论

评论区

围绕《从 V0 到 R1,deepseek 如何追平 GPT-4》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。