模型蒸馏 Knowledge Distillation：把大模型变小的办法

「第二教育网」是一个专注于优质教育资源导航与学习方法分享的第三方平台。本文将从方法、工具与实操几个角度，帮你把这件事一次看明白。

训练一个大模型成本高，部署到手机或校园服务器又太重。模型蒸馏（Knowledge Distillation）的思路是：让小模型去学习大模型的判断方式，而不是从零摸索。

老师与学生

这里大模型像老师，小模型像学生。老师不仅给正确答案，还把它对各类可能性的倾向告诉学生，学生据此调整自己，逐步接近老师的表现。

• 小模型体积更小、速度更快
• 适合在普通电脑或手机上运行
• 某些任务上能保留老师的大部分效果

你用到的很多轻量助手，背后可能就是蒸馏后的模型。它让 AI 走进课堂和终端变得更现实，也降低了对高端算力的依赖。

蒸馏的本质，是把大模型学到的经验，浓缩进一个更小更快的模型里。

当然小模型也有局限，遇到复杂推理时仍可能不如老师模型稳健。