Motivation

1. 首先，作者根据已有的工作阐述了top-performing systems通常wide and deep，且参数量大，也是缺点（推理耗时）。

2. 其次，depth的representation learning的基本要素，其鼓励feature的重用并使得高层特征具有更abstract and invariant的表示。

Related Work

1. 预训练策略。使得深度模型的初始参数就潜在的好。

2. 对中间层特征提供监督信息来帮助网络学习。

3. 使用curriculum learning（CL）策略，从简单知识到较难知识的持续学习。

Core Idea

1. 作者也针对depth这个点，在Hinton的KD[1]工作上扩展，提出用teacher和student模型的（多层）中间特征（作者称为hints）来进行feature mimicking，而不单纯是logit mimicking。

2. 另外作者也引入了CL策略，简单而言就是：训练初期，teacher模型的guide权重较大（手把手指导），到后期，teacher模型的guide权重持续衰减（直到放养）。

Method

1. 首先回归Hinton的KD工作[1]：
其中分别是teacher与student的output logits。是温度系数，若，则teacher的logits被soften，否则sharpen。代表交叉熵损失，表示teacher的guide权重。
尽管Hinton的KD方法确实有效果，但对deep architectures而言，是难以优化的。

2. 作者的做法（在Hinton工作基础上）添加Hints guiding：



其中是nested functions，具体指卷积层（作者认为使用线性层会带来更大参数量），其参数为。指regressor function，其参数为。

3. 网络训练流程：

Experiments

Personal Reflection

1. 作者总结别人KD工作中网络普遍结构wide and shallow，因此探究网络的depth，结合已有工作，提出了中间特征蒸馏，很具有启发性。因此也引来了许多基于intermediate feature的KD工作。

2. curriculum learning strategy似乎在KD中比较常见了，不知道是不是因为这篇工作的原因。