知识蒸馏是一种将大型模型的知识迁移到小型模型的技术，旨在减少模型的大小和计算复杂度，同时保持性能。以下是一些常用的知识蒸馏算法：
软标签蒸馏：将大型模型（教师模型）的输出作为软标签，传递给小型模型（学生模型）进行训练。
知识提取：从教师模型中提取关键知识，并将其传递给学生模型。
原型蒸馏：将教师模型输出的软标签转化为原型，然后将其传递给学生模型。
层次蒸馏：将知识从高层次向低层次传递，以实现更好的迁移效果。
更多关于知识蒸馏算法的详细信息，可以参考本站的知识蒸馏算法详解。
图片展示
软标签蒸馏
知识提取
原型蒸馏
层次蒸馏