DeepSeek R1 不仅推出了 6710 亿参数的 “满血版”，还同步发布了从 1.5B 到 70B 规模的蒸馏版模型。这些参数更少、资源占用更小的 LLM 蒸馏版，使得我们甚至能够在低配置的笔记本上运行这个强大的 AI 模型。那么，究竟什么是 LLM 蒸馏？这些蒸馏模型与原始 LLM 之间有哪些关键区别？
国外技术达人 New Machina 在这段 5 分钟的视频中，以深入浅出的方式讲解了 LLM 蒸馏的核心概念及其作用，非常值得一看！
简单来说，LLM 蒸馏，就是一个把大模型的 "知识" 转移到小模型中的过程，有点像老师教学生，所以大模型被称为教师模型，小模型叫学生模型。
这项技术最早是由杰弗里·辛顿等人在 2015 年提出的。它的独特之处在于，教师模型不是简单地告诉学生模型 "对错"，而是通过概率分布的方式传授知识。比如在预测 “apple ” 的下一个词时，会告诉学生模型：出现 iPhone 的概率是 90%，iPad 则是 5%，以此类推。这种方式让学生模型能够更细微地学到教师模型的判断能力。
现在 LLM 蒸馏技术很受欢迎，因为它能让AI模型变得更轻便高效。比如谷歌的DistilBERT，虽然体积减小了 40%，速度提升了 60%，但仍保持了原模型 97% 的性能。OpenAI 的 DistilGPT-2 也实现了类似的压缩效果。咱们的 Deepseek-R1 也采用了这项技术。
这种小型化的 AI 模型特别适合在手机等低性能终端设备上运行，也能用于需要快速响应的场景，比如实时翻译。不过蒸馏过程也面临着挑战，主要是如何在压缩模型的同时，尽可能保留原有模型的理解力和泛化能力。
