PSG 是一个精细标注的大规模数据集。该数据集包含 48,749 张 coco 的图片，并基于 coco 已有的全景分割标注，标注了分割块之间的关系。该数据集包含 133 个对象类别，其中 80 个为 objects， 53 个为 stuff 。

作者精细地定义了 56 种关系，包括了位置关系（over，in front of，等），常见的物体间关系（hanging from 等），常见的生物动作（walking on，standing on，等），人类行为（cooking 等），交通场景中的关系（driving，riding 等），运动场景中的关系（kicking 等），以及背景间关系（enclosing 等）。