使用虚拟分对数匹配的分布外检测



[Paper Download] [Code Download] [Project]

人工智能在行业的落地中面临开放世界识别的挑战。在大多数行业应用中,训练数据无法保证覆盖实际测试中的所有情况,模型对异常数据容易判断错误。Out-Of-Distribution (OOD) 检测算法正是解决这一问题。现有的OOD检测方法大多基于单一的输入信息:特征、logit或softmax概率,然而单一的信息无法应对分布多种多样的OOD样本。

在CVPR 2022上,商汤研究团队提出了名为Virtual-logit Matching (ViM) 的新型OOD检测方法[1],它巧妙地结合了类别无关的特征空间分数和In-Distribution (ID) 类别相关的logits分数,在多个测试集和网络结构上达到state-of-the-art效果。此外,论文还发布了当前最大的完全人工标注的OOD检测测试集OpenImage-O,是已知最大的OOD学术测试集的8.8倍。

问题和挑战

开放世界识别是人工智能在不同行业(如:自动驾驶、医疗、工业质检)的落地中必须要解决的共同问题 [3]。OOD检测问题正是检验开放世界识别的一个基准问题。一个直观的例子如下图:一个对于螃蟹和猫的分类网络,可能会把从未见过的拍手(在训练集数据分布之外的测试样本,out-of-distribution sample)错分为螃蟹,把从未见过的狗错分为猫。OOD detection算法是用来判断输入数据是否属于已有训练集分布的方法。由此,深度神经网络不会受到从未学习过的种类的样本的干扰。

ViM: Out-Of-Distribution with Virtual-logit Matching, Out-Of-Distribution Detection, ood detection, 分布外样本检测 



一些OOD检测的算法需要额外数据进行重新训练。在ICCV 2021的《Semantically Coherent Out-of-Distribution Detection》[2]这一论文中,我们提出了利用海量无监督的数据训练来提升OOD检测的效果。这类方法需要有额外数据的支持。还有一些方法不需要额外数据,但需要重新训练网络。这类方法在使用便捷程度上不如无需再次训练网络的方法。

无需重新训练网络的方法按照OOD分数的信息源,可分为基于softmax概率的方法,如MSP [4],KL Matching [5];基于logit的方法,如MaxLogit [5],Energy [9];基于特征的方法,如Mahalanobis distance [7],NuSA [10];以及基于梯度的方法, 如GradNorm [11],ODIN [8];等等。现有的OOD检测方法大多基于单一的输入信息:特征、logit或softmax概率,然而单一的信息无法应对分布多种多样的OOD样本。

方法介绍

OOD Detection, sensetime, detection, cvpr 



在一个特征向量空间维度大于种类数目的网络中,从特征空间到logit的降维会造成信息损失。这部分损失的信息对于ID数据影响可能不大,但是却包含了对于OOD数据判断有用的部分。另一方面,logit中包含着的ID信息对于判断OOD也起到一部分作用。因此,如何优雅地结合特征空间和logit两方面的信息就成为了问题的核心。

针对上面的问题,我们提出了Virtual logit的概念。Virtual logit推广了普通logit的定义,从feature与w向量的内积变为feature到某个子空间S的投影长度。 为了让virtual logit能表示OOD信息,我们将子空间S设定为所有训练样本特征构成的D维主空间P的正交补空间P⊥ 。这样在P⊥上投影越大,样本就越可能是OOD。为了让virtual logit的范围与原来的logit尺度相匹配,我们定义α为匹配系数:

OOD Detection, sensetime, detection, 分布外样本 



其中x1, x2, …, xk 为均匀采样的k个训练样本,lij为特征向量xi的第j个logit。由此定义最终virtual-logit为

exploring the limits of out-of-distribution detection, adversarial training, Natural Adversarial Examples, stylized-imagenet, 分布外样本 



得到的virtual-logit与其他logit一起放入softmax得到最后每类的预测概率,而virtual-logit l0对应的p0即为样本为OOD的概率。 将P⊥的一组正交基写成矩阵R,那么完整表达式为

OOD Detection, sensetime, detection, 分布外样本 



在这个式子里,如果原来的logit越大,那么ViM score越小,它越像ID。如果virtual logit越大,那么ViM score越大,它越有可能是OOD。



实验结果

如图所示,在不同类型的OOD数据中,基于单一信息源如特征空间或logit的OOD检测方法的效果都相对局限在某些类型上的数据集上。而ViM能够在各种数据集上有更好的综合表现。此外,我们在包括CNN和vision transformer的多种网络结构上均进行了实验,在所有测试网络上ViM都有最高的平均AUROC得分。并且ViM比Mahalanobis以及KL Matching更加迅速便捷。

Open-set learning, open-world learning, out-of-distribution object detection, 开放世界学习 



ood detection survey, anomaly detection, out-of-distribution detection python, nlp 



结语

我们提出了一个新的OOD检测算法ViM,能够结合特征和logit二者的信息,不借助额外的训练和数据,从不同的维度上有效地判断OOD数据。我们在包括基于CNN和transformer架构的多个网络上测试了ViM的性能,其结果展示了ViM的有效性。

OpenImage-O数据集

为了促进OOD检测的学术研究,我们还发布了当前最大的完全人工标注的OOD检测测试集OpenImage-O,是已知最大的OOD学术测试集的8.8倍。 不同于经典的OOD检测研究 [4, 6, 8]多基于CIFAR-10数据集,它以ImageNet-1K数据集为分布内样本集。 同时,我们以更接近自然分布的OpenImage-V3测试集为基础,采取了人工标注的方式挑选了OOD检测测试集,保证了测试集的质量。 OpenImage-O解决了现有OOD检测数据集或数量少,或有特定分布偏向,或标注粒度不精细、混有杂图的问题。

参考文献

[1] Haoqi Wang, Zhizhong Li, Litong Feng, and Wayne Zhang. ViM: Out-Of-Distribution with Virtual-logit Matching. In Proc. CVPR, 2022.
[2] Jingkang Yang, Haoqi Wang, Litong Feng, Xiaopeng Yan, Huabin Zheng, Wayne Zhang, and Ziwei Liu. Semantically coherent out-of-distribution detection. In Proc. ICCV, 2021.
[3] Jingkang Yang, Kaiyang Zhou, Yixuan Li, and Ziwei Liu. Generalized out-of-distribution detection: A survey. arXiv preprint arXiv:2110.11334, 2021.
[4] Dan Hendrycks and Kevin Gimpel. A baseline for detecting misclassified and out-of-distribution examples in neural networks. In ICLR, 2017.
[5] Dan Hendrycks, Steven Basart, Mantas Mazeika, Mohammadreza Mostajabi, Jacob Steinhardt, and Dawn Song. Scaling out-of-distribution detection for real-world settings. arXiv preprint arXiv:1911.11132, 2019.
[6] Dan Hendrycks, Mantas Mazeika, and Thomas Dietterich. Deep anomaly detection with outlier exposure. In ICLR, 2019.
[7] Kimin Lee, Kibok Lee, Honglak Lee, and Jinwoo Shin. A simple unified framework for detecting out-of-distribution samples and adversarial attacks. In NeurIPS, 2018.
[8] Shiyu Liang, Yixuan Li, and R Srikant. Enhancing the reliability of out-of-distribution image detection in neural networks. In ICLR, 2018.
[9] Weitang Liu, Xiaoyun Wang, John Owens, and Yixuan Li. Energy-based out-of-distribution detection. Advances in Neural Information Processing Systems, 33:21464–21475, 2020.
[10] Matthew Cook, Alina Zare, and Paul Gader. Outlier detection through null space analysis of neural networks. arXiv preprint arXiv:2007.01263, 2020.
[11] Rui Huang, Andrew Geng, and Yixuan Li. On the importance of gradients for detecting distributional shifts in the wild. In NeurIPS, 2021.







Locations of visitors to this page

profile counter Stats

Copyright © 2022 Wayne Zhang.