Source

Abstract

Introduction

• 深度学习之前的时代：基于手工特征的时间特征表示（如光流）

• 深度学习时代：神经网络为特征提取器（包含LSTM，C3D，R(2+1)D，TSM），带来另一问题，模型参数和FLOPs更大

• 作者提出的方法：在时间维度上交错空间特征，将时间信息融合到空间特征中。保持更少的参数和FLOPs。

Related Work

• 视频理解：
• CNN在静态图像上有所建树，但在多了时间维度的视频上却是计算量庞大的
• 在深度学习之前用手工特征（HOG3D，SIFT-3D，iDT等）对vid进行分类
• 在进入深度学习时代，提出的双流以及后来的TSN网络，在不依赖时间关系的数据集（K600，UCF101，HMDB51）上分类效果好，而在依赖时间关系的数据集（Something-something，jester）上分类效果差
• 本质上2D CNN对视频分类任务还是静态图像的分类

• 可变形的时间建模：
• 最近工作中的可变卷积关注于空间变形（如DCNv1)，大大提高了语义分割和物体检测性能
• Spatial Transformer Network使用全局仿射变换来学习具有平移不变性和旋转不变性的特征表示
• TSM基于TSN在时间维度shift特征图，但只能以固定位移shift（移位一格），并且不能适应帧数不均的视频，不够灵活
• 作者受到可变卷积的灵感，提出了一种能适应特定数据集和提取帧分布的可变移位算法

• self-attention：视频分类中使用自注意力机制带来效果提升

Temporal Interlacing Network

作者通过插入TIN到残差块的conv前来融合时间信息:

将输入 变化到

Deformable Shift Module

• 在送入OffsetNet和WeightNet前，先平均池化：

• OffsetNet：
1. 生成raw offset：
，，为channels的组数
2. 缩放到：

• WeightNet：
• 卷积层（1D卷积层的kernel size为3，kernel数量等于group数量）
• sigmoid and rescale module（输出rescale到(0,2)）
• 初始卷积层bias:0，初始output:1.0
 

Differentiable Temporal-wise Frame Sampling

Experiment