Command Palette
Search for a command to run...
Alexander Mathis Thomas Biasi Steffen Schneider Mert Yüksekgönül Byron Rogers Matthias Bethge Mackenzie W. Mathis

摘要
神经网络是姿态估计中非常有效的工具。然而,与其他计算机视觉任务一样,对于域外数据的鲁棒性仍然是一个挑战,尤其是在现实应用中常见的小规模训练集的情况下。本文研究了三种架构类别(MobileNetV2、ResNet 和 EfficientNet)在姿态估计中的泛化能力。我们开发了一个包含30匹马的数据集,用于“域内”和“域外”(未见过的马)基准测试——这是当前人体姿态估计基准测试尚未直接解决的一个关键测试。研究表明,如果首先在ImageNet上进行预训练,那么在ImageNet上表现更好的架构在域内和域外数据上的性能也更好。此外,我们的研究还表明,在不同动物种类之间,表现更好的ImageNet模型具有更强的泛化能力。进一步地,我们引入了Horse-C,这是一个新的针对姿态估计常见损坏情况的基准测试,并确认预训练同样可以提高在这种领域迁移情境下的性能。总体而言,我们的结果证明了迁移学习对域外鲁棒性的益处。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| animal-pose-estimation-on-horse-10 | DeepLabCut-EfficientNet-B6 | [email protected] (OOD): 88.4 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-MOBILENETV2-1 | [email protected] (OOD): 77.6 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-EfficientNet-B4 | [email protected] (OOD): 86.9 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-RESNET-101 | [email protected] (OOD): 84.3 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-MOBILENETV2 0.35 | [email protected] (OOD): 63.5 |
| animal-pose-estimation-on-horse-10 | DeepLabCut-RESNET 50 | [email protected] (OOD): 81.3 |