Segment Anything model（SAM）一种通用的分割方法。
以前，要解决任何类型的分割问题，有两类方法。第一种是交互式分割，允许分割任何类别的对象，但需要一个人通过迭代细化操作来指导该方法。第二种，自动分割，允许分割提前定义的特定对象类别（例如，猫或椅子），但需要大量的手动注释对象来训练（例如，数千甚至数万个分割猫的例子），连同计算资源和技术专长一起训练分割模型。这两种方法都没有提供通用的、全自动的分割方法。
第一种，我觉得类似于 removebg.com 这样很多的 AI 抠图 web 应用，需要手动大致描绘下需要抠图部分的轮廓；第二种，则是我之前在的一家公司所做的工作，因为是医学影像方向，所以基本以标注一种心脏疾病的变形区域为主。的确，如 Meta 所言，这两种方法都没有提供通用的、全自动的分离方法。
比如 demo 中的这张图：
我可以通过点选，来选中一匹完整的被遮挡的马，这是之前的 AI 抠图，包括 iOS 相册的分离功能无法做到的，通过操作会切身体会到 SAM 结合两种分割方式，更加优秀。
SAM 是这两类方法的概括。它是一个单一的模型，可以轻松地执行交互式分割和自动分割。该模型的可提示界面（稍后描述）允许以灵活的方式使用它，只需为模型设计正确的提示（点击、框、文本等），就可以完成范围广泛的分割任务。此外，SAM 在包含超过 10 亿个掩码（作为该项目的一部分收集）的多样化、高质量数据集上进行训练，这使其能够泛化到新类型的对象和图像，超出其在训练期间观察到的内容。这种概括能力意味着，总的来说，从业者将不再需要收集他们自己的细分数据并为他们的用例微调模型。
总而言之，这些功能使 SAM 能够泛化到新任务和新领域。这种灵活性在图像分割领域尚属首创。
demo 体验地址：https://segment-anything.com/demo |
发表于 2023-4-7 08:58:59