4月23日消息，Google DeepMind 研究员 Shangbang Long 公开了 Vision Banana 模型及论文《Image Generators are Generalist Vision Learners》。Google DeepMind对 Nano Banana Pro（Gemini 3 Pro Image）做指令微调，在不添加任何专用架构或损失函数的前提下，让同一套权重在分割、单目度量深度估计、表面法线估计三项视觉理解任务上匹敌或超越 SAM 3、Depth Anything 3、Lotus-2 三款专家模型,同时在 GenAI-Bench（文生图）和 ImgEdit（图像编辑）上保持原模型的生成质量。论文 2026 年 3 月已挂在 DeepMind Publications 页面,此次 X 线程是配套的公开宣传发布。 核心主张：图像生成是视觉任务的通用输出接口
这条研究思路延续了 DeepMind 2025 年 9 月论文《Video models are zero-shot learners and reasoners》中的判断——语言领域从"任务专属模型"走向"通用基础模型"靠的是大规模生成式预训练，同样的原语（primitive）可能在视觉领域复现相同转变。那篇论文的载体是 Veo 3，这次的载体是 Nano Banana Pro。 Vision Banana 的关键主张是：当 SOTA 生成模型已经能零样本产出分割图、深度图这类"视觉任务输出"时，可以把图像生成本身当作处理多样化视觉任务的通用输出接口——就像文本生成之于语言理解一样。分割任务的输出是一张分割可视化图，深度任务的输出是一张深度图，表面法线任务的输出是一张法线贴图，全部通过同一个图像生成模型产出，下游用解码器或简单后处理拿到结构化结果。这种设计的工程含义是——不需要为每类视觉任务设计专用的 head、loss、数据管线，指令微调加提示工程就能让一个生成模型处理一整套下游任务。
一个模型、一套权重：2D 分割、单目 3D、生成三线并行
核心实验结果可以拆成两条线看。
视觉理解线：Vision Banana 在分割任务上匹敌或超越 Meta 在 2025 年 11 月开源的 SAM 3（848M 参数，专门针对 Promptable Concept Segmentation 优化，在 SA-Co 基准上比前代翻倍）；在度量深度估计上匹敌 Depth Anything 3；在表面法线估计上匹敌 Lotus-2。一个模型、一套权重，同时覆盖 2D 和 3D 理解。
生成线：原本 Nano Banana Pro 的强项——4K 高清、多语言文字渲染、基于 Gemini 3 Pro 的真实世界知识——在指令微调后没有明显退化，在 GenAI-Bench 和 ImgEdit 上仍保持强劲表现。官方给出的幽灵船、鬼森灯笼、樱花武士等文生图对比、以及换背景/移除物体/改颜色的编辑对比，显示 Vision Banana 与 Nano Banana Pro 在同提示下的输出效果一致性极高。
从方法论看，这意味着指令微调作为"视觉理解能力嫁接"手段没有以"遗忘生成能力"为代价——生成和理解两种能力在这个模型里不是零和关系。
对 CV 范式的潜在影响：从"专家模型拼盘"到"生成式通用模型"
作者在线程中自我定位为"视觉领域的范式转变"。从 CV 工程实践角度看，这个说法有三层含义。
第一，过去一个标准 CV Pipeline 需要组合多个专家模型：分割用 SAM 系列、深度用 Depth Anything 系列、法线用 Lotus/GeoWizard、检测用 DETR 或 YOLO 系列。每个专家模型都有独立的权重文件、推理框架、后处理代码。Vision Banana 的工程含义是这些专家模型可以被一个统一的生成模型替代，推理基础设施可以收敛到一套。
第二，这条路径复刻了 LLM 取代传统 NLP 专家模型的故事。NLP 领域过去有 NER、情感分类、翻译、摘要等分项模型，现在一个 GPT-5.4 或 Claude Opus 4.7 全部接管。如果 Vision Banana 的实验结论在更多任务和更大规模下站得住，CV 工程栈可能经历类似的"通用化收敛"。 第三，这给"原生多模态大模型"路线提供了新证据。包括 Gemini 3、GPT-5 原生多模态、Qwen3.6 多模态路线在内，业界一直在推"生成 + 理解"统一，但过去证据偏理解侧能力（VLM 类任务）。Vision Banana 反向证明：从生成侧训练出的模型，理解能力也可以达到或超越专家模型，方向可双向走通。
局限：未开源、对比维度可能选择性、部署成本未披露
几项信息需要谨慎看待。
第一，Vision Banana 未开源。基础模型 Nano Banana Pro 本身是 Google 闭源的 Gemini 3 Pro Image，Vision Banana 作为其指令微调版本预计也将以 API 或 Google 产品形式发布，学术社区短期内难以独立复现论文结论，也无法对训练数据、微调策略做同条件复核。
第二，对比维度可能存在选择性。SAM 3 在 Meta 原论文中强调的强项是开放词汇概念分割（Promptable Concept Segmentation）和 SA-Co 基准（270K 独特概念，前代的 50 倍），Depth Anything 3 强项是泛化深度估计，Lotus-2 强项是细节法线预测。论文是否在这些专家模型最擅长的子维度上也全线胜出、还是仅在更综合的泛化指标上胜出，需要看正文表格而非推文截图。
第三，参数量和推理成本未披露。Nano Banana Pro 的规模量级接近 Gemini 3 Pro，实际部署成本应远高于 SAM 3（848M 参数）这类专家模型。生产环境用 Vision Banana 替代专家模型栈是否划算，取决于 API 定价、延迟和吞吐——目前都未公开。
第四，评估任务集不完整。论文重点宣称的是"3 项视觉理解任务 + 2 项生成任务"，CV 领域的完整任务集远不止这些——目标跟踪、动作识别、人体姿态、立体匹配、光流、场景重建等都未在主文结果中体现，能否同样被通用生成接口替代尚无证据。
第五，X 线程中的"击败"结论来自作者自述。论文的系统评估是否使用了与专家模型同条件的输入（相同分辨率、相同预处理、相同提示工程投入），X 帖子文字无法完全确认，需要回读正文。
对开发者和内容创作者的信号
短期看，Vision Banana 不会立刻替代生产环境里的 SAM 3、Depth Anything 3 等开源专家模型——成本和开源度是硬门槛。但这项工作传递了一个结构性信号：在 Gemini/GPT/Claude 这类前沿闭源多模态模型的能力边界上，"图像生成"正在从一个创作工具演变为一个通用视觉输出接口。对上层应用而言，这意味着未来调用 API 时可能不再需要分别选"分割模型"和"生成模型"——一个接口、一套提示、覆盖全部视觉任务。
下一个观察点是：
（1）Vision Banana 是否会通过 Gemini API 对外开放；
（2）OpenAI、Anthropic 等是否会在各自原生多模态体系下跟进类似的"生成即接口"范式；
（3）开源社区能否在 SD3/Flux、Qwen3.6 多模态等基础上复刻这条路径。
论文页面：https://deepmind.google/research/publications
AI 速览
