Dreamer 4是谷歌DeepMind于2025年9月发布的新型世界模型智能体（论文《Training Agents Inside of Scalable World Models》，arXiv:2509.24527）。它的核心突破是"想象训练"：智能体完全在自身学到的生成式世界模型中练习，无需与真实环境直接交互，仅用离线视频就能学会复杂长程任务。在《我的世界》中，它成为首个仅凭离线数据就"挖到钻石"的AI，且数据效率比此前方法高约100倍。
Dreamer 4是什么
Dreamer 4是Google DeepMind提出的可扩展世界模型智能体（Scalable World Model Agent），由Danijar Hafner等人于2025年9月29日发布（论文编号arXiv:2509.24527）。需要明确的是：它是一篇研究论文与算法，而非面向普通用户的商业软件，没有独立的产品客户端或订阅价格。
它的核心范式叫"想象训练"（Imagination Training）：先用海量离线视频训练出一个能模拟环境物理与物体交互的"世界模型"，再把世界模型当作"梦境引擎"，让智能体在想象中反复试错、学习策略。这样一来，真实环境下的高风险、高成本或缓慢的探索（如机器人实验）都可以转移到模型内部完成。
- 出品方：Google DeepMind（论文作者 Hafner et al.）
- 形态：研究型智能体 / 开源论文与代码，非商业SaaS
- 标志性成果：首个仅用离线视频数据就在《我的世界》中挖到钻石的AI智能体
- 数据底座：OpenAI VPT《我的世界》数据集，约2541小时游戏视频
Dreamer 4的核心技术与原理
Dreamer 4把"视频生成"与"强化学习"两条原本分裂的研究线融合进一个可扩展世界模型，关键技术包括：
- 块状因果Transformer世界模型：用Transformer块同时处理空间（高分辨率图像块）与时间（动作与事件序列）动态，取代传统的循环状态空间模型，更准确预测复杂物体交互。
- 捷径强制（Shortcut Forcing）：对"扩散强制（diffusion forcing）"的推广。小步长直接预测干净潜变量，大步长用两个短步输出递归组合；推理时仅需4步而非64步即可生成，速度提升约16倍，且保持高保真度。
- 因果分词器（Causal Tokenizer）：基于掩码自编码将视频帧压缩为潜令牌序列，配合register tokens与QKNorm优化时间一致性与跨帧关联。
- x预测（x-prediction）：从v预测（预测速度/噪声）转向x预测（预测干净潜变量），降低长程rollout中高频误差的累积。
- 想象中的策略学习：世界模型预训练完成后，插入任务令牌并训练策略头与奖励头；策略与价值的优化全部在潜空间模拟rollout中进行，彻底摆脱在线环境采样。
架构上，模型在360×640原生分辨率运行，每帧约960个令牌，具备约9.6秒的时间上下文，在单张H100 GPU上可达约20–21 FPS，满足实时交互所需的高频想象rollout。
Dreamer 4有什么能力
Dreamer 4的能力亮点集中在数据效率与真实感模拟两方面：
- 离线挖钻石：在全新世界、空背包的起点下，仅靠超过2万次鼠标键盘操作序列，约0.7%的评估场次成功挖到钻石——这是此前OpenAI VPT等基线从未稳定达到的里程碑。
- 极致数据效率：在2541小时总视频中，仅需约100小时带动作标注的数据（约4%）即可达到接近全量标注的动作条件质量（约85%），证明大部分"世界知识"可从无标注视频中提取。
- 实时交互模拟：单GPU上约20 FPS，比竞品快13–26倍，支撑强化学习所需的海量想象rollout。
- 人类可玩性验证：研究人员邀请人类在Dreamer 4的模拟世界中用键鼠完成任务，16项手工任务中完成14项（建墙、战斗、合成等），而Oasis仅5项、Lucid近乎0项。
- 跨维度泛化：仅从主世界（Overworld）学到的动作 grounding，可迁移到未见的地狱（Nether）与末地（End），相对全动作训练保留约76%的PSNR，说明学到的是可迁移的物理理解而非死记。
- 机器人延展：用真实世界数据训练后，可模拟pick-and-place等任务的真实物理交互，指向具身智能应用。
Dreamer 4的性能与基准测试
以下为公开论文与评测中Dreamer 4的关键指标对比（评估基于《我的世界》"离线钻石挑战"等基准）：
需要强调的是，0.7%的钻石成功率看似很低，但对比基线（如用270,000小时动作标注网络视频的VPT）连铁器都难以稳定产出，这一数字恰恰体现了"在想象中训练"的相对优势，而非绝对成熟。
Dreamer 4的意义、局限与注意事项
为什么重要
- 重塑学习范式：证明智能体可以不直接试错、仅靠"观察世界+内部想象"来学习复杂技能，对机器人、自动驾驶等在线探索昂贵或危险的领域意义重大。
- 数据效率天花板：用极少标注撬动海量无标注视频，降低了高质量智能体对昂贵标注数据的依赖。
- 通向具身智能：从游戏迁移到真实机器人物理交互，是世界模型落地具身智能的关键一步。
局限与注意事项
- 它是研究成果，不是产品：普通用户无法像用SaaS那样"开通账号使用"，需阅读论文、运行开源代码，面向研究者与工程师。
- 远未达人类水平：作者明确指出Agent游戏水平仍远低于人类，且《我的世界》中还有数百个比挖钻石更难的子任务未被攻克。
- 成功率仍偏低：钻石0.7%的成功率说明长程任务可靠性有限，距稳定生产级应用尚有距离。
- 依赖数据质量：世界模型的保真度直接决定策略上限，低质量或偏态数据会导致"想象"失真。
- 以论文为准：具体架构细节、指标与开源状态以DeepMind官方论文（arXiv:2509.24527）与发布页最新信息为准，二手解读可能存在偏差。
以上内容基于公开论文与第三方技术解读整理，Dreamer 4为Google DeepMind的研究型世界模型智能体（非商业产品），具体技术细节、指标与代码开放状态请以官方论文arXiv:2509.24527及DeepMind发布页为准。涉及具体实现请参考原始论文与开源仓库。
AI 速览
