一、教程简介

SAM3 是由 Meta AI 于 2025 年 11 月推出的先进计算机视觉模型。该模型能通过文本、示例和视觉提示检测、分割和跟踪图像及视频中的对象。模型支持开放词汇的短语输入，具备强大的跨模态交互能力，可实时修正分割结果。 SAM 3 在图像和视频分割任务中性能卓越，是现有系统的两倍，且支持零样本学习。模型扩展到 3D 重建领域，助力家居预览、创意视频编辑和科学研究等多场景应用，为计算机视觉的未来发展提供强大动力。相关论文成果为「SAM 3: Segment Anything with Concepts」。

本教程默认使用资源为单卡 RTX 5090，最低可用单卡 RTX 4090 启动使用。提供 Image Segmentation 、 Video Text Prompting 、 Video Point/Box Prompting 三个示例供测试。模型仅支持英文输入。

二、效果展示

三、运行步骤

1. 启动容器

2. 使用步骤

若显示「Bad Gateway」，这表示模型正在初始化，由于模型较大，请等待约 2-3 分钟后刷新页面。

1. Image Segmentation

具体参数：

• Text Prompt：这里可以输入文本文字。
• Detection Threshold：阈值越高，检测到的目标越少。
• Mask Threshold：阈值越高，生成的掩码边界更清晰、更锐利。

2. Video Text Prompting

具体参数：

• Text Prompt(s)：这里可以输入文本文字。
• Propagate across video：点击该按钮，对目标进行视频跟踪。

3. Video Point/Box Prompting

具体参数：

• Object ID：检测到的目标 ID 。
• Point label：
  • positive：当点击图片上的某个位置时，如果是 Positive，意思是：这个点属于想分割的目标物体，请把它算进去。
  • negative：当点击图片上的某个位置时，如果是 Negative，意思是：这个点不属于目标物体（是背景或其他东西），请把它去掉。
• Clear old inputs for this object：是否清除之前检测到的目标。
• Prompt type：
  • Points：点击视觉提示。
  • Boxes：框选视觉提示。

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下：

@misc{carion2025sam3segmentconcepts,
      title={SAM 3: Segment Anything with Concepts},
      author={Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman Rädle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Dollár and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
      year={2025},
      eprint={2511.16719},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2511.16719},
}