9月21日消息,Meta 把分割模型 SAM 3.1 接入其托管 Model API:开发者以一句简短名词短语作提示,一次调用即可完成目标的检测、分割与视频跟踪。服务按量计费,图像 2.5 美元/千张、视频 0.2 美元/千帧,兼容 OpenAI SDK。
官方文档显示,API 版当前仅接受文本提示,点选、框选等视觉提示仍需使用 3 月开源的权重版,两条接入路径的能力并不对等。
一次调用完成检测、分割与跟踪
在官方文档的示例中,给 SAM 3.1 一个「快递货车」或「眼镜」这样的名词短语,模型即为每个匹配目标返回一个边界框和一个像素级掩码;在视频中,模型跨帧保持目标身份完成跟踪。整个过程零样本,不需要训练数据或微调。响应以特殊标记文本返回,每个匹配目标一组框与掩码;要分割多种类型的目标,需要分别发送多个请求。
模型在 Meta Model API 中的名称为 sam-3-1,端点为 api.meta.ai,现有 OpenAI SDK 兼容客户端改指向该端点即可调用,官方同时提供 Playground 供试用。
API 版的边界:仅文本提示,每帧至多 16 个目标
API 版的限制集中在提示类型与跟踪规模:每次请求接受一个名词短语,视频跟踪每帧最多 16 个目标。点、框、掩码等视觉提示在权重版中可用,托管 API 暂不提供,官方也未给出开放时间表。只按概念找目标、量不大的轻量集成,按量计费的 API 成本可算、接入即用;需要在画面上点选特定实例、自建跟踪管线的团队,仍要回到权重版。
3 月的权重版:Object Multiplex 与申请制
SAM 3.1 的权重与代码已于 3月27日 开源,代码在 GitHub 的 facebookresearch/sam3 仓库,权重托管在 Hugging Face 的 facebook/sam3.1,参数量约 848M。相对上一代的核心增量是 Object Multiplex:以共享内存方式联合跟踪多个目标。Meta 在模型卡中称,单张 H100 上跟踪 128 个目标时推理约快 7 倍且精度不降,7 项视频目标分割基准中 6 项提升。
权重并非直接下载。Hugging Face 页面为人工审核的申请制,需同意分享联系信息后获取,许可证为研究用途;仓库仅托管模型权重,代码与文档在 GitHub。截至目前,该仓库累计下载逾 70 万次,衍生出 17 个微调与 7 个量化版本。
从 3 月的申请制权重到 9 月的按量计费 API,Meta 把 SAM 3.1 拆成了两层商品:API 层无需申请、OpenAI SDK 即插即用,但能力收窄到文本提示;权重层能力完整,留在研究许可的申请制之内。对开发者而言,取舍标准落在一点:是否需要视觉提示与自定义管线。API 层何时补上点选与框选,目前没有公开时间表。