Paper Reading:Single-Shot Refinement Neural Network for Object Detection_CVPR2018

首先，放一张思维导图 是对整篇文章的梳理

Abstract

RefineDet结合了一阶段和两阶段检测器的优点，既能有优于两阶段方法的准确率又能保持一阶段方法的高效率。
RefineDet由两个内部相连的模块组成：ARM(Anchor refinement module)和ODM(Object detection module)
具体来说，ARM 有两个目标
1.滤除负样本anchor box 以减少分类时的搜索空间
2.粗略调整anchor box的位置和尺寸 给后续回归操作提供更好的初始值
ODM的主要功能是更进一步地提高回归精度，预测多类标签
另外，还有一个模块：TCB(Transfer connection block)
主要作为ARM&ODM两个模块的连接桥梁，它的主要功能是把ARM不同层的特征图转换成ODM需要的形式，并实现特征融合。
最后，使用多任务的损失函数得以实现整个网络端对端的训练。

Introduction

目前，基于卷积神经网络的目标检测主要分为两类：一阶段的方法和两阶段的方法。
在两阶段的方法中，都是先产生一个稀疏的包含目标的候选集（Region Proposal），再进一步进行分类和回归。
在一阶段的方法中，主要通过不同位置、尺度、长宽比的密集采样来实现目标检测（典型的anchor机制）。这类方法的优点是有计算效率高，但检测精度却不如两阶段的方法，其中主要的原因是正负类别样本不平衡。
最近也有很多方法致力于解决一阶段检测器存在的问题。如，利用卷积特征映射的对象性先验约束，显著减少了对象的搜索空间；Focal loss；最大限度的标记机制等
作者认为，两阶段的方法相比于一阶段的方法有三个优势：
1.采用启发式采样的两阶段结构来解决类别不平衡问题；
2.使用两阶段级联的方式回归目标框的参数（位置、置信度）
3.使用两阶段的特征来描述目标
本文提出了一种新的网络：RefineDet ，继承了这两类方法的优点、避免了它们的缺点。
结构如图1所示
大量实验表明：

RefineDet outperforms the state-of-the-art methods。

Related Work

• Classical Object Detectors
• Two-Stage Approach
• One-Stage Approach

Network Architecture

• Transfer Connection Block(TCB)

两个功能：
连接ARM和ODM
特征融合（ integrate large-scale context ）
TCB的结构如下图

• Two-Step Cascaded Regression.

两步分别在ARM模块和ODM模块中，实现从粗到细的位置回归
如思维导图中两个黄色的块

• Negative Anchor Filtering

如思维导图中紫色的块
尽早的把那些不包含目标的anchor剔除以缓和正负类别不平衡的问题。
具体做法：加一个判断，negative confidence>threshold(theta=0.99) 就认为全是背景
在训练和测试时都这样做，能提高效率

Training and Inference

• Data Augmentation

• Backbone Network
  在ImgeNet上预训练的VGG-16 、ResNet101 作为backbone（当然 也可以选用别的预训练网络，如Inceptionv2、 ResNeXt等）
  对原本的网络结构进行部分调整
  比如， 去掉了VGG的全连接层，使用L2正则化规范特征尺度、增加了卷积层数，增加残差模块等等
  这里具体看代码

• Anchors Design and Matching.
  选择了4个尺度 total stride sizes 分别是8 16 32 64

Each feature layer is associated with one specific scale of anchors (i.e., the scale is 4 times of the total stride size of the corresponding layer) and three aspect ratios (i.e., 0.5, 1.0, and 2.0).

• Hard Negative Mining
  和SSD中的做法相同
  选择loss值较大的negative anchor box，把负正样本比例控制在3：1以下

• Loss Function
  由两部分组成，分别是ARM和ODM的损失
  

• Optimization
  对于VGG-16 based RefineDet 使用“xavier”方法随机初始化额外添加的两层卷积层的参数
  对于ResNet101 based RefineDet 额外添加的残差模块的参数服从高斯分布——N(0,0.01)
  default batch_size=32

  set the default batch size to 32 in training

  使用带动量的SGD优化

  SGD with 0.9 momentum and 0.0005 weight decay

  初始学习率

  set the initial learning rate to 10−3

• Inference

  step1:ARM会首先通过阈值滤除掉negative condidence score很低的anchor box
  step2:ODM对每张图片 选出前400个置信度最高的anchor
  step3:用NMS 选出每一类的jaccard系数大于0.45的anchor box 并且每张图片置信度最高的前200个anchor产生最后的结果

Experiments

• PASCAL VOC 2007&2012

检测结果看表1
正如文中说的，RefineNet保留了两阶段和一阶段方法的优点，boxes的数量介于两者之间，同时保持了一阶段的高效率（FPS较高，除了比YOLO&SSD300略低，如上图绿色的块）

To the best of our knowledge, RefineDet is the first real-time method to achieve detection
accuracy above 80% mAP on PASCAL VOC 2007.

In summary, RefineDet achieves the best trade-off between accuracy and speed.

• Ablation Study
  

Negative Anchor Filtering 0.5%
——solves the class imbalance issue to some extent.

Two-Step Cascaded Regression 2.2%
—— significantly help promote the performance

Transfer Connection Block 1.1%
——by using the TCB ， the model can inherit the discriminative features from the ARM, and integrate large-scale context information to improve the detection accuracy

• MS COCO

作者提出 RefineDet还可以和Focal loss结合 可以取得更好的表现。

We believe that it can be used in RefineNet to further improve the performance.

• From MS COCO to PASCAL VOC
  
  subsample the parameters
  ——models are pre-trained on MS COCO, and fine-tuned on PASCAL VOC
  multi-scale testing
  ——improve accuracy，eg RefineDet320+&512+