Command Palette
Search for a command to run...
Ke Sun Yang Zhao Borui Jiang Tianheng Cheng Bin Xiao Dong Liu Yadong Mu Xinggang Wang Wenyu Liu Jingdong Wang

摘要
高分辨率表示学习在许多视觉问题中发挥着重要作用,例如姿态估计和语义分割。最近为人体姿态估计开发的高分辨率网络(HRNet)\cite{SunXLW19} 通过在整个过程中并行连接高分辨率到低分辨率卷积来保持高分辨率表示,并通过反复进行跨并行卷积的融合来生成强大的高分辨率表示。在本文中,我们通过对高分辨率表示进行进一步研究,引入了一种简单而有效的改进方法,并将其应用于广泛的视觉任务。我们通过聚合所有并行卷积的(上采样)表示来增强高分辨率表示,而不仅仅是\cite{SunXLW19} 中使用的高分辨率卷积的表示。这一简单的修改导致了更强的表示,这一点从优异的结果中得到了验证。我们在 Cityscapes、LIP 和 PASCAL Context 的语义分割任务以及 AFLW、COFW、300W 和 WFLW 的面部关键点检测任务中展示了顶级结果。此外,我们从高分辨率表示构建了多级表示,并将其应用于 Faster R-CNN 目标检测框架及其扩展框架。所提出的方法在 COCO 目标检测任务上取得了优于现有单模型网络的结果。代码和模型已公开发布在 \url{https://github.com/HRNet}。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-alignment-on-300w | HR-Net | NME_inter-ocular (%, Challenge): 5.15 NME_inter-ocular (%, Common): 2.87 NME_inter-ocular (%, Full): 3.32 |
| face-alignment-on-aflw-19 | HR-Net | NME_diag (%, Frontal): 1.46 NME_diag (%, Full): 1.57 |
| face-alignment-on-cofw | HRNet | NME (inter-ocular): 3.45% |
| semantic-segmentation-on-ade20k | HRNetV2 | Validation mIoU: 43.2 |
| semantic-segmentation-on-ade20k-val | HRNetV2 (HRNetV2-W48) | mIoU: 42.99 |
| semantic-segmentation-on-cityscapes | HRNet (HRNetV2-W48) | Mean IoU (class): 81.6% |
| semantic-segmentation-on-lip-val | HRNetV2 (HRNetV2-W48) | mIoU: 55.90% |