Command Palette

Search for a command to run...

4 个月前

TriDet:基于相对边界建模的时序动作检测

Dingfeng Shi Yujie Zhong Qiong Cao Lin Ma Jia Li Dacheng Tao

TriDet:基于相对边界建模的时序动作检测

摘要

本文提出了一种单阶段时序动作检测框架TriDet。现有方法通常因视频中动作边界的模糊性而导致边界预测不准确。为缓解这一问题,我们提出了一种新颖的三叉头结构(Trident-head),通过建模边界附近的相对概率分布来更精确地刻画动作边界。在TriDet的特征金字塔中,我们设计了一种高效的可扩展粒度感知(Scalable-Granularity Perception, SGP)模块,以缓解视频特征中自注意力机制引发的排序损失问题,并实现跨不同时间粒度的信息融合。得益于Trident-head结构与基于SGP的特征金字塔设计,TriDet在三个具有挑战性的基准数据集(THUMOS14、HACS和EPIC-KITCHENS 100)上均取得了当前最优的检测性能,同时计算开销显著低于以往方法。例如,在THUMOS14数据集上,TriDet实现了69.3%的平均mAP,较此前最优方法提升2.5%,且仅需其74.6%的推理延迟。代码已开源,地址为:https://github.com/sssste/TriDet

代码仓库

dingfengshi/tridet
官方
pytorch
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供