简介：知识蒸馏作为深度学习中的关键技术,通过将大型教师模型的知识传递给较小的学生模型,实现了模型的压缩与加速.在保证性能的前提下,显著减少了计算资源和存储需求,促进了高性能模型在资源受限的边缘设备上的部署.围绕知识蒸馏的最新研究进展进行了系统性的综述,从知识类型和师生模型架构 2个角度对知识蒸馏进行分类,详细汇总了输出特征知识、中间特征知识、关系特征知识 3种典型知识类型的蒸馏方法,以及卷积架构到卷积架构、卷积架构到ViT(vision Transformer)架构、ViT架构到卷积架构和ViT架构到ViT架构的蒸馏方法;探讨了离线蒸馏、在线蒸馏、自蒸馏、无数据蒸馏、多教师蒸馏和助理蒸馏的学习方式;归纳了基于蒸馏过程、知识结构、温度系数及损失函数的蒸馏优化方法,分析了对抗性技术、自动机器学习、强化学习和扩散模型对蒸馏的改进,并总结了蒸馏技术在常见应用中的实现.尽管知识蒸馏取得了显著进展,但在实际应用和理论研究中仍面临诸多挑战.最后,对这些问题进行了深入分析,并对未来发展方向提出了见解.展开
