Command Palette
Search for a command to run...
Kaiming He Haoqi Fan Yuxin Wu Saining Xie Ross Girshick

摘要
我们提出了动量对比(Momentum Contrast, MoCo)方法,用于无监督视觉表征学习。从对比学习作为字典查询的视角出发,我们构建了一个动态字典,该字典由一个队列和一个动量更新的编码器组成。这一设计使得系统能够实时构建一个规模庞大且一致的字典,从而有效支持对比式的无监督学习。在ImageNet分类任务中,MoCo采用常见的线性评估协议,取得了具有竞争力的性能表现。更重要的是,MoCo所学习到的表征在下游任务中具有良好的迁移能力。在PASCAL VOC、COCO及其他数据集上的7项检测与分割任务中,MoCo的表现优于其监督预训练的对应方法,有时甚至显著超越。这一结果表明,在众多视觉任务中,无监督与监督表征学习之间的差距已基本弥合。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| contrastive-learning-on-imagenet-1k | ResNet50 | ImageNet Top-1 Accuracy: 60.6 |
| image-classification-on-omnibenchmark | MoCoV2 | Average Top-1 Accuracy: 34.8 |
| self-supervised-image-classification-on | MoCo (ResNet-50 4x) | Number of Params: 375M Top 1 Accuracy: 68.6% |
| self-supervised-image-classification-on | MoCo (ResNet-50) | Number of Params: 24M Top 1 Accuracy: 60.6% |
| self-supervised-image-classification-on | MoCo (ResNet-50 2x) | Number of Params: 94M Top 1 Accuracy: 65.4% |
| self-supervised-image-classification-on-1 | MoCo (Resnet-50) | Top 1 Accuracy: 77.0% |
| self-supervised-image-classification-on-1 | MoCo (Resnet-50) | Top 1 Accuracy: 77.3% |