地球信息科学学报

面向遥感影像场景分类的类中心知识蒸馏方法

刘潇, 刘智, 林雨准, 王淑香, 左溪冰

地球信息科学学报, 2023, 25(5): 1050-1063. DOI: 10.12082/dqxxkx.2023.220781

算法1 类中心知识蒸馏算法
第一阶段：微调教师网络
输入：教师网络模型 $T$ ，预训练参数，训练样本 $X = x i, y i i = 1 N$
计算标准交叉熵损失函数 $H y t, y t r u e$
反向传播更新 $T$ 的参数，直到损失函数收敛
输出：教师网络模型 $T$
第二阶段:通过类中心蒸馏训练学生网络
输入：教师网络模型 $T$ ，学生网络模型 $S$ ，训练样本 $X = x i, y i i = 1 N$
初始化：学生网络参数 $θ$ 和超参数
按标签 $y$ 整理训练集 $X = x 1 i, · · ·, x n i, y i i = 1 M$ 每批次从随机类中抽取随机的样本
根据式（7）计算总体损失函数 $L t o t a l$
反向传播更新学生网络的参数 $θ$ ，直到损失函数收敛
输出：学生网络模型 $S$ ，参数 $θ$
第三阶段：测试学生网络
输入：学生网络模型 $S$ ，测试样本
输出：预测结果
按标签 $y$ 整理训练集 $X = x 1 i, · · ·, x n i, y i i = 1 M$ 每批次从随机类中抽取随机的样本

本文的其它图/表