| 蒸馏方法 | 师生架构 （Model T/S） | 同系列 （ResNet-50/ ResNet-18） | 不同系列 （ResNet-50/MobileNet-V2） | ||
|---|---|---|---|---|---|
| 训练比率 | 80% | 60% | 80% | 60% | |
| Baseline | 92.14 | 90.00 | 91.43 | 90.48 | |
| 响应 | KD | 95.48 | 92.38 | 93.33 | 90.24 |
| DKD | 95.71 | 91.91 | 94.52 | 92.14 | |
| 特征 | NST | 94.05 | 91.67 | 92.62 | 90.48 |
| VID | 93.57 | 89.41 | 92.38 | 89.05 | |
| 网络层间关系 | KDSVD | 92.62 | 90.36 | 92.62 | 89.88 |
| ReviewKD | 94.29 | 92.62 | 94.29 | 91.07 | |
| 实例关系 | RKD | 94.52 | 92.02 | 92.38 | 87.38 |
| SP | 93.33 | 91.43 | 80.48 | 59.05 | |
| 类中心 | 本文方法 | 97.14 | 95.36 | 94.76 | 92.62 |
