Command Palette
Search for a command to run...
Kihyuk Sohn David Berthelot Chun-Liang Li Zizhao Zhang Nicholas Carlini Ekin D. Cubuk Alex Kurakin Han Zhang Colin Raffel

摘要
半监督学习(Semi-Supervised Learning, SSL)为有效利用未标注数据以提升模型性能提供了一种高效途径。本文展示了两种常见SSL方法——一致性正则化(consistency regularization)与伪标签(pseudo-labeling)——简单组合所展现出的强大能力。我们提出的算法FixMatch首先利用模型对弱增强(weakly-augmented)未标注图像的预测结果生成伪标签;对于某一图像,仅当模型输出具有高置信度时,其预测结果才会被保留为伪标签。随后,模型被训练以在输入同一图像的强增强版本时,预测出对应的伪标签。尽管该方法结构简洁,我们仍证明FixMatch在多个标准半监督学习基准测试中取得了当前最优(state-of-the-art)的性能表现:在仅使用250个标签的情况下,CIFAR-10数据集上达到94.93%的准确率;而在仅40个标签(即每类仅4个样本)的极端低标签设置下,仍可实现88.61%的准确率。由于FixMatch与若干现有SSL方法在结构上具有诸多相似之处,但后者性能却显著逊色,因此我们开展了详尽的消融实验(ablation study),以识别出决定FixMatch成功的关键实验因素。相关代码已开源,地址为:https://github.com/google-research/fixmatch。