6月4日消息,Ideogram发布4.0版本,这是该公司首个开源权重文生图模型,从零训练而非微调现有模型。权重已在GitHub和Hugging Face开放下载,用户可在本地运行推理和微调,但商业使用需付费授权。 Ideogram由前Google Brain研究员Mohammad Norouzi等人于2022年创立,此前以文字渲染能力见长。从1.0到3.0迭代了三代,4.0是迄今最大的产品转向——从纯闭源API服务转向开放权重。
架构:无编码器DiT + JSON原生训练
Ideogram 4.0是一个9.3B参数的单流Diffusion Transformer。文本和图像token在34层DiT的每一层共享相同的注意力投影,文本编码器采用Qwen3-VL-8B-Instruct,消费其13个中间层的隐藏状态拼接作为输入,而非只取单一层。
区别于几乎所有同类模型的关键设计:Ideogram 4.0完全基于结构化JSON标注训练。每条训练数据都是一个JSON对象,包含场景的逐元素描述、样式块、可选的边界框坐标和调色板。推理时,即使用户输入普通文本提示,也会先被内置的"magic prompt" LLM改写为JSON结构再喂入模型。
这意味着用户可以直接用JSON精确控制生成结果:通过bounding box(归一化坐标0-1000)指定元素位置,通过typed text字段指定渲染文字内容和样式,通过hex色值(每张图最多16色、每元素5色)控制配色方案。对设计师来说,这不是额外负担,而是实现海报、Logo、包装等设计任务的核心能力。
能力:2K原生分辨率 + 顶级文字渲染
Ideogram 4.0原生支持2K分辨率输出(256-2048px,最大宽高比6:1),不需要额外上采样流程。同时支持透明背景,可编辑文字和图层功能即将上线。
文字渲染是Ideogram从第一代就在强调的能力,4.0进一步拉开差距。在X-Omni英文OCR准确率测试中,9.3B的Ideogram 4.0超过了Qwen-Image(20B)、FLUX.2 dev(32B)和HunyuanImage 3.0(80B MoE)等更大模型,参数效率优势明显。
在布局控制基准7Bench上,Ideogram 4.0超过了所有闭源模型。在DesignArena排行榜上,位列所有开放权重模型第一,整体排名仅次于OpenAI和Google的闭源模型。
模型提供三个推理预设:V4_QUALITY_48(45步+3步精修)、V4_DEFAULT_20和V4_TURBO_12,精修阶段降低引导权重以收紧细节而不过度饱和。权重提供NF4(CUDA优化)和FP8(更广泛硬件支持)两种量化版本。
竞品对比:开源阵营的新格局
文生图开源领域此前由FLUX系列主导。FLUX.2 dev有32B参数,在通用图像质量上表现不错但文字渲染弱;HunyuanImage 3.0参数量达80B MoE,体积庞大。Ideogram 4.0用9.3B参数在文字渲染和布局控制两个维度上同时超越两者,参数效率是核心卖点。
与闭源模型比,Ideogram 4.0在单项测试中击败了Midjourney v8、追平FLUX,但整体仍落后于GPT-Image-2、Nano Banana Pro和Luma Uni-1.1。DesignArena排行榜上,开源第一、总榜第二的位置是合理定位——缩小了开源与闭源的差距但未完全抹平。
值得注意的是,Ideogram 4.0的JSON提示方式与市面上其他模型的纯文本提示形成了路线分歧。JSON提示给了专业用户前所未有的精确控制力,但也提高了使用门槛。普通用户仍然可以用自然语言,由内置LLM自动转换,但生成效果依赖于转换质量。
局限与注意事项
许可证是最大争议点。Ideogram 4.0的Hugging Face页面标注为"Ideogram 4 Non-Commercial",下载需注册并同意许可协议。这意味着开源的核心价值——本地运行、实验和微调——是开放的,但免费商用不在其中。对于想用开源模型降低推理成本的企业来说,仍需购买商业授权。
模型内置了安全过滤器,这不是外部平台加的限制,而是模型自身的一部分。部分用户反馈过滤策略过于激进,这在本地部署场景中可能造成不便。
此外,9.3B参数虽然比FLUX.2和Hunyuan小很多,但在消费级硬件上的实际推理性能和显存占用还需要社区进一步验证。ComfyUI已在发布当天提供了Day-0支持,fal.ai等推理平台也已上线托管服务,部署生态正在快速建立。