Command Palette
Search for a command to run...
CapRL 描述强化学习
CapRL 是由中国科学技术大学、香港中文大学联合上海人工智能实验室等高校机构的研究团队于 2025 年 9 月提出的,相关研究成果发表于论文「CapRL: Stimulating Dense Image Caption Capabilities via Reinforcement Learning」。
CapRL 是一个通过实用性重新定义描述质量的新型训练框架:高质量的描述应使非视觉语言模型能够准确回答关于相应图像的问题,它采用解耦的两阶段流程,其中大型语言视觉模型(LVLM)生成描述,而目标奖励则源自于一个独立的、无视觉能力的大语言模型(LLM)根据该描述回答选择题的准确性。在由 CapRL-3B 标注的 CapRL-5M 描述数据集上进行预训练,CapRL 在 12 个基准测试中均取得了显著提升。此外,在描述质量评估的 Prism 框架中,其性能与 Qwen2.5-VL-72B 相当,平均超出基线 8.4% 。
