Detecting Everything in the Open World: Towards Universal Object Detection，CVPR，2023

在 Open World 中检测一切：面向通用目标检测

---

要点

通用目标检测：检测每个场景并预测每个类别，一旦经过训练，通用目标检测器能够直接在未知情况下工作，而无需进一步训练

检测器的通用性：
（1）训练时，通过图像和空间文本的对齐利用多源图像和异构标签空间，以此保证通用表达所需的足够信息；
（2）由于视觉和语义模式的丰富信息，模型很容易泛化到open world，同时保持 seen 和 unseen 之间的平衡；
（3）通过提出的解耦训练方式和概率校准，进一步提高了对于新类别的泛化能力；

通用检测器应该具备的基本能力：
（1）训练时利用多源图像和异构标签空间：为保证检测器的泛化性，需要在分类和定位方面进行大规模的协同训练，需要从多个数据集中协同学习；
（2）泛化到 open world，对于训练时 unseen 的新类别，应当依然可以预测且不降低性能；

要解决的问题：
（1）多源图像：
不同来源的图像与不同的异构空间相关联
现有检测器只能从一个标签空间中预测类别
不同数据集特定的分类法和数据集之间的注释不一致，导致很难统一多个异构标签空间
（2）新类鉴别：
image-text pre-training
利用预训练模型和语言嵌入来识别新类别
但是全监督训练使得检测器专注于训练中出现的类别，对于新类别将产生不自信的预测
尽管语言嵌入使得预测新类成为可能，但是性能有所下降

解决方案：
（1）在语言空间的帮助下，首先研究了可能的结构，用异构标签空间训练检测器，并发现分区结构促进了特征共享，同时避免了标签冲突；
（2）为探索区域候选阶段对于新类别的泛化性能，解耦候选生成阶段和ROI分类阶段，而不是联合训练；
（3）在这种解耦下，进一步提出类未知局部化网络 class-agnostic localization network (CLN)，用于产生通用的区域候选；
（4）提出概率校准以消除预测的偏差，首先评估所有类别的先验概率，并根据先验概率调整预测类别的分布；（？训练集和测试集是否同分布，充分信任先验分布，对于新类如何选取分布，选平均分布还是语义聚类最近的分布）

主要贡献：
（1）通用的检测框架 UniDetector，利用异构标签空间地图像，泛化到 open world，第一个正式提出通用物体检测的工作；
（2）针对新类识别时泛化能力的差异，解耦候选生成和ROI分类的训练过程，以充分挖掘类别敏感的信息；
（3）校准预测概率，平衡了预测的类别分布，提高了新类预测的置信度。

---

相关工作

目标检测（Object detection）：

目的：预测图像中每个物体的类别标签和边界框坐标

现有方法：
（1）两阶段方法：RCNN及其变体，先提取一系列区域候选，然后进行分类和回归
（2）一阶段方法：直接生成锚点的分类结果
（3）其他：无锚点、transformer-based
open-world VS closed-world

开放词汇表目标检测（Open-vocabulary object detection）：

传统目标检测：只能检测训练集标签空间内的类别
Zero-shot目标检测：从 seen 泛化到 unseen，但是性能落后于全监督方法
开放词汇表目标检测：通过 image-text 的对齐训练（aligned），文本中的无界词汇有利于模型在检测新类别时的泛化

加载大规模-文本预训练（large-scale image-text pre-training）的模型参数，能够有效提高性能和类别词汇量
但是现有方法只针对单个数据集内的传播，且在类别上 seen 比 unseen 要多得多

多数据集目标检测训练（Multi-dataset object detection training）：

多数据集：
（1）提高模型鲁棒性（？提高每个数据集上的鲁棒性吗，还是针对某一数据集，其他数据集为额外信息）
（2）扩大检测器的词汇量（？词汇量会不会带来内存问题，模型复杂不轻量，应用难）

难点：利用多个异构标签空间
当前研究：closed-world
（1）利用伪标签统一不同的异构标签空间
（2）分区结构
（3）语言嵌入
本文方法：open-world

---

图表

通用目标检测器：

异构标签空间
多源图像
泛化：任何场景、任何类别

目标检测流程：

Step1：大规模图像-文本对齐预训练（Large-scale image-text aligned pre-training）
引入语言嵌入来辅助检测
RegionCLIP pre-trained parameters

Step2：异构标签空间训练（Heterogeneous label space training）
多源数据集
解耦训练

Step3：开放世界推理（Open-world inference）
语言嵌入
概率校准

异构空间建模：

模型框架：
1、使用单独的标签空间进行训练
在每个标签空间上训练训练多个模型
推理时使用新的语言嵌入，每个模型都对测试数据进行推理，组合测试结果得到最终的检测框（detection box）
2、将多个标签空间组合为一个标签空间
数据集组合技术
伪标签
Mosaic or Mixup to boost information integration among different label spaces
3、分区结构
训练时：不同数据集的图像共享相同的特征提取器，但是有自己的分类层
推理时：直接使用测试标签的类嵌入来避免标签冲突

数据规模变大 -- 导致长尾分布
1、数据采样器 data sampler
（1）类感知采样器 class-aware sampler (CAS) 
（2）重复因子采样器 repeat factor sampler (RFS)
（3）随机采样器 random sampler（在 open world 中，使用语言嵌入可以忽略长尾分布的不利影响）
2、损失函数 loss function
（1）equalized loss
（2）seesaw loss
（3）基于 Sigmoid 函数，基类和新类的分类不会相互干扰
为了避免类别数量增加时 Sigmoid 分类损失过大，随机抽取一定数量的类别作为负类别

解耦候选生成和ROI分类（Decoupling proposal generation and RoI classification）：

两阶段目标检测器：视觉骨干编码器 + RPN + ROI 分类模块
1、区域候选生成阶段 region proposal generation stage
The proposal generation stage maintains satisfying universality ability since its class-agnostic classification can be easily extended to novel classes
初始化：initialized with traditional ImageNet pre-trained parameters
训练：
（1）trained in a class-agnostic way（类别不可知）
（2）produces a series of region proposals（区域候选）

2、ROI分类阶段
the class-specific RoI classification stage cannot even work for novel categories
Even with language embeddings, it is still biased to base classes
初始化：initialized with image-text pre-trained parameters for predicting unseen categories
训练：trained in the Fast RCNN manner

These two kinds of pre-trained parameters also contain complementary features, which provide more comprehensive information for universal object detection
两种预训练参数包含互补的特征，为检测器提供了更全面的信息

类不可知的定位网络（Class-agnostic localization network）：

目的：roduce generalized proposals in the open world

CLN：不是单一的RPN，而是 RPN + ROI head
box细化：promotes box refinement during proposal generation
基于定位：We mainly adopt localization-based objectness for object discovery since localization-related metric tends to be robust to novel objects in the open world
在 ROI head 中，基于定位置信度，保留二元未知分类（binary classagnostic classification），从而为网络训练提供强监督信号

open world 推理：

由于训练过程中只出现基本类别，所以推理过程中，基本类别往往比新类的置信度更大，从而占据推理的主导地位
考虑到新类的巨大数量，基类的过度置信将容易导致检测器忽略数量多的新类，从而损害检测器在 open world 中的性能

为了避免偏差问题，进行概率校准，propose probability calibration for post-processing the predictions
目的：降低基类的概率，增加新类的概率，从而平衡最终的概率

---

代码