Command Palette
Search for a command to run...
Huijuan Xu Abir Das Kate Saenko

摘要
我们研究了在连续、未剪辑的视频流中进行活动检测的问题。这是一个具有挑战性的任务,需要提取有意义的空间-时间特征以捕捉活动,并准确地定位每个活动的起始和结束时间。为此,我们提出了一种新的模型——区域卷积三维网络(Region Convolutional 3D Network, R-C3D),该模型首先使用三维全卷积网络对视频流进行编码,然后生成包含活动的候选时间区域,最后将选定的区域分类为具体的活动。由于提案和分类管道之间共享卷积特征,计算量得以减少。整个模型通过联合优化定位和分类损失进行端到端训练。R-C3D 在单个 Titan X Maxwell GPU 上的处理速度达到每秒 569 帧,比现有方法更快,并在 THUMOS'14 数据集上取得了最先进的结果。此外,我们通过在 ActivityNet 和 Charades 数据集上评估我们的方法,进一步证明了我们的模型是一个通用的活动检测框架,不依赖于特定数据集属性的假设。我们的代码可在 http://ai.bu.edu/r-c3d/ 获取。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| action-detection-on-charades | R-C3D | mAP: 12.4 |
| action-recognition-in-videos-on-thumos14-1 | Single-stream R-C3D (one-way buffer) | [email protected]: 51.6 [email protected]: 49.2 [email protected]: 42.8 [email protected]: 33.4 [email protected]: 27.0 |
| action-recognition-in-videos-on-thumos14-1 | Single-stream R-C3D (two-way buffer) | [email protected]: 54.5 [email protected]: 51.5 [email protected]: 44.8 [email protected]: 35.6 [email protected]: 28.9 |
| temporal-action-localization-on-thumos14 | R-C3D | mAP [email protected]: 54.5 mAP [email protected]: 51.5 mAP [email protected]: 44.8 mAP [email protected]: 35.6 mAP [email protected]: 28.9 |