在长视频中开发端到端动作识别模型对于长视频动作理解至关重要。由于在整个长视频上进行端到端训练的成本过高，现有的研究通常是在从长视频中剪辑出的短片段上训练模型。然而，这种“先剪辑再训练”的方法需要动作区间注释以提供片段级别的监督，即知道哪些动作被剪辑到了这些片段中。不幸的是，收集此类注释非常昂贵，阻碍了大规模的模型训练。为此，本研究旨在构建一个仅使用视频级别动作类别标签的弱监督端到端框架，用于在长视频上训练识别模型。在不知道长视频中动作的确切时间位置的情况下，我们提出的弱监督框架（即AdaptFocus）估计动作可能发生的位置及其概率，从而自适应地关注信息量丰富的动作片段进行端到端训练。AdaptFocus框架的有效性已在三个长视频数据集上得到验证。此外，在下游长视频任务中，我们的AdaptFocus框架提供了一种弱监督特征提取流程，用于提取更加鲁棒的长视频特征，从而显著提升了下游任务的最新方法。我们将发布代码和模型。