Command Palette

Search for a command to run...

5 个月前

LLaVA-Scissor:基于语义连通分量的视频大语言模型中的令牌压缩

Boyuan Sun Jiaxing Zhao Xihan Wei Qibin Hou

LLaVA-Scissor:基于语义连通分量的视频大语言模型中的令牌压缩

摘要

本文介绍了LLaVA-Scissor,这是一种专为视频多模态大语言模型设计的无训练令牌压缩策略。以往的方法大多尝试根据注意力分数来压缩令牌,但未能有效捕捉所有语义区域,且常常导致令牌冗余。相比之下,我们提出利用语义连通分量(Semantic Connected Components, SCC)方法,该方法将令牌分配到令牌集内的不同语义区域,确保全面的语义覆盖。这一方法的结果是一种两步时空令牌压缩策略,在空间域和时间域均采用了SCC。该策略可以通过一组非重叠的语义令牌来表示整个视频,从而有效地压缩令牌。我们在多个视频理解基准上对LLaVA-Scissor的令牌压缩能力进行了广泛的评估,包括视频问答、长视频理解和综合多项选择基准。实验结果表明,所提出的LLaVA-Scissor在各种视频理解基准中优于其他令牌压缩方法,在低令牌保留率下尤其表现出色。项目页面:https://github.com/HumanMLLM/LLaVA-Scissor

代码仓库

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LLaVA-Scissor:基于语义连通分量的视频大语言模型中的令牌压缩 | 论文 | HyperAI超神经