知识蒸馏

• 一、模型压缩方法简介
• 二、SSLD 蒸馏策略
  • 2.1 简介
  • 2.2 数据选择
• 三、实验
  • 3.1 教师模型的选择
  • 3.2 大数据蒸馏
  • 3.3 ImageNet1k训练集finetune
  • 3.4 数据增广以及基于Fix策略的微调
  • 3.4 实验过程中的一些问题
    • 3.4.1 bn的计算方法
    • 3.4.2 模型名字冲突问题的解决办法
• 四、蒸馏模型的应用
  • 4.1 使用方法
  • 4.2 迁移学习finetune
  • 4.3 目标检测
• 五、SSLD实战
  • 5.1 参数配置
    • ResNeXt101_32x16d_wsl蒸馏ResNet50_vd
    • ResNet50_vd_ssld蒸馏MobileNetV3_large_x1_0
  • 5.2 启动命令
  • 5.3 注意事项
• 参考文献