行为识别中，每一帧都极为重要。要全面理解视频中的人体行为，就要根据动作对每一帧进行标注，在一段视频中密集地标注。 MultiTHUMOS 数据集是在对 THUMOS 数据集扩展的基础上诞生的。

该数据集是一个动作标注集合，包括了 65 个动作类的 38,690 个标注。标注应用于 THUMOS’14 动作检测数据集中的 400 部视频，平均每帧有 1.5 个标签，每部视频有 10.5 个动作类。