Mantis-Instruct 数据集是一个由滑铁卢大学、清华大学和上海人工智能实验室于 2024 年发布的，相关论文成果为「MANTIS: Interleaved Multi-Image Instruction Tuning」。专注于多图像指令调优的文本-图像交错多模态数据集，由 14 个子集组成，包含 721K 个例子，用于训练 Mantis 模型系列。该数据集覆盖了多种多图像技能，包括共指、推理、比较和时间理解等多个方面。它不仅包括来自现有数据集的 10 个子集，还新增了 4 个新策划的数据集，旨在扩展模型的推理技能和其他多图像技能。