面向遥感影像场景分类的类中心知识蒸馏方法

刘潇, 刘智, 林雨准, 王淑香, 左溪冰

Class-centric Knowledge Distillation for RSI Scene Classification

LIU Xiao, LIU Zhi, LIN Yuzhun, WANG Shuxiang, ZUO Xibing

算法1 类中心知识蒸馏算法
第一阶段：微调教师网络
输入：教师网络模型 $T$ ，预训练参数，训练样本 $X = \{{(x_{i}, y_{i})}_{i = 1}^{N}\}$
计算标准交叉熵损失函数 $H (y_{t}, y_{t r u e})$
反向传播更新 $T$ 的参数，直到损失函数收敛
输出：教师网络模型 $T$
第二阶段:通过类中心蒸馏训练学生网络
输入：教师网络模型 $T$ ，学生网络模型 $S$ ，训练样本 $X = \{{(x_{i}, y_{i})}_{i = 1}^{N}\}$
初始化：学生网络参数 $θ$ 和超参数
按标签 $y$ 整理训练集 $X = \{{((x_{1}^{i}, \cdot \cdot \cdot, x_{n}^{i}), y^{i})}_{i = 1}^{M}\}$ 每批次从随机类中抽取随机的样本
根据式（7）计算总体损失函数 $L_{t o t a l}$
反向传播更新学生网络的参数 $θ$ ，直到损失函数收敛
输出：学生网络模型 $S$ ，参数 $θ$
第三阶段：测试学生网络
输入：学生网络模型 $S$ ，测试样本
输出：预测结果
按标签 $y$ 整理训练集 $X = \{{((x_{1}^{i}, \cdot \cdot \cdot, x_{n}^{i}), y^{i})}_{i = 1}^{M}\}$ 每批次从随机类中抽取随机的样本