DiffusionBlocks：Sakana AI 的块级训练方法，训练内存降至 1/B

模型微调与训练生图模型视频生成强化学习推理优化架构优化

2026-05-28 13:44

44 浏览

0 点赞

AI 速览

Sakana AI提出DiffusionBlocks训练方法，通过块级训练将内存需求降至1/B，解决大模型训练显存瓶颈。核心事实 - 核心技术：将残差网络拆分为B个模块，利用扩散模型去噪原理独立训练每个模块 - 性能表现：在ViT、DiT等5种架构上验证，训练效果与端到端反向传播持平或更优 - 独特优势：对循环深度Transformer实现单次前向传播替代K次BPTT，大幅降低计算开销 - 开源情况：论文已被ICLR 2026接收，代码已在GitHub开源价值点为算力受限的研究者和开发者提供高效的大模型训练方案，降低参与大规模AI训练的门槛。

Sakana AI 联合东京大学在 ICLR 2026 发表 DiffusionBlocks，一种基于扩散解释的块级神经网络训练方法，核心思路：

将残差网络拆分为 B 个模块，把每个模块的更新重新解释为扩散模型的去噪过程，每个模块可独立训练

训练时只需为单个模块分配内存，总内存需求降至端到端训练的 1/B，性能与端到端反向传播持平

在 ViT（CIFAR-100）、DiT（ImageNet 256）、掩码扩散（text8）、自回归 Transformer（OpenWebText）和循环深度 Transformer 共 5 种架构上完成验证

对循环深度（Looped）Transformer 有额外优势：将 K 次迭代的 BPTT 训练简化为单次前向传播

DiffusionBlocks：Sakana AI 的块级训练方法，训练内存降至 1/B

DiffusionBlocks 要解决的核心问题：训练内存瓶颈

标准神经网络训练采用端到端反向传播，所有参数联合优化。训练过程中需要将所有中间状态（激活值）保存在内存中，内存消耗随网络深度线性增长。在数百亿参数的现代大模型时代，这一瓶颈决定了能参与大规模 AI 训练的机构数量极为有限。

DiffusionBlocks 的解决思路是：将网络划分为多个独立模块，每次只训练一个模块，训练其他模块时无需保留当前模块之外的内存。这使得内存消耗降至单个模块的水平，理论上可实现 B 倍的缩减（B 为模块数）。

方法原理：从残差连接到扩散过程的转换

DiffusionBlocks 的理论基础建立在一个关键观察上：残差连接本质上对应于常微分方程（ODE）的离散化步进，而 ODE 恰恰是扩散模型的底层数学框架。

基于这一连接，Sakana AI 团队将网络的逐块更新重新解释为扩散模型的反向（去噪）过程。每个模块被赋予一个明确角色：将表示状态逐步拉近到目标，比前一个模块更进一步。每个模块只需要在自己的"噪声区间"内优化目标，不依赖其他模块的输出。

将一个标准 Transformer 网络转换为 DiffusionBlocks 只需三步：

第一步：分区 — 将 L 层拆分为 B 个模块

第二步：分配噪声区间 — 每个模块负责一个"接近目标程度"的区间

第三步：添加条件模块 — 让每个模块识别自己被分配到的区间

训练时，每次迭代随机采样一个模块进行计算，其他模块完全不参与前向和反向传播，因此内存降至约 1/B。

在 5 种架构上的验证结果

Sakana AI 在三类任务、五种架构上验证了 DiffusionBlocks 的通用性：

任务领域	架构	数据集	与端到端训练对比
图像分类	ViT	CIFAR-100	性能持平
图像生成	DiT	ImageNet 256	性能持平或更优
文本生成（掩码扩散）	Masked Diffusion	text8	性能持平
文本生成（自回归）	Autoregressive Transformer	OpenWebText	性能持平
文本生成（循环深度）	Recurrent-depth Transformer	—	单次前向传播替代 K 次 BPTT

在所有架构上，DiffusionBlocks 在不牺牲性能的前提下实现了可观的训练内存缩减。

对循环深度（Looped）Transformer 的独特价值

循环深度 Transformer（也称 Looped Transformer）是近年备受关注的架构方向，其特点是在推理时对同一网络迭代应用 K 次，逐步精化输出。然而训练这类模型需要沿时间反向传播（BPTT），计算代价极高。

DiffusionBlocks 为这一问题提供了自然的解决方案：循环深度网络中"重复应用同一网络逐步精化输出"的动态过程，恰好符合 DiffusionBlocks 所描述的"逐步接近目标"模式。因此，K 次迭代的 BPTT 训练可被单次前向传播替代，大幅降低计算开销，同时推理时仍保留 K 次迭代。

开源状态与代码

DiffusionBlocks 论文代码已开源至 GitHub（github.com/SakanaAI/DiffusionBlocks），论文全文可在 arXiv（2506.14202）获取。该工作已被 ICLR 2026 接收，由 Sakana AI 的 Makoto Shing、东京大学的 Masanori Koyama 和 Sakana AI 的 Takuya Akiba 共同完成。

论文地址：https://arxiv.org/abs/2506.14202

项目主页：https://pub.sakana.ai/diffusionblocks

代码：https://github.com/SakanaAI/DiffusionBlocks

好文章，需要你的鼓励

编程报错信息分析与调试指南

# 报错信息分析与调试指南 ## 任务说明请分析用户提供的报错信息，推测可能的错误原因，并提供系统性的调试步骤。 ## 分析要求 1. **错误类型识别** - 确定是语法错误、运行时错误、逻辑错误还是环境配置错误 - 识别具体的错误类别（如空指针、数组越界、类型不匹配等） 2. **原因推测** - 基于错误信息中的关键线索进行合理推断 - 考虑常见的导致此类错误的编程场景 - 分析可能的代码问题或环境问题 3. **调试步骤** - 提供从简单到复杂的逐步调试方法 - 包括代码检查、日志添加、环境验证等具体操作 - 给出预防类似错误的最佳实践建议 ## 输出格式 - **错误类型**：[具体的错误分类] - **可能原因**： 1. [原因1] 2. [原因2] 3. [原因3] - **调试步骤**： 1. [步骤1] 2. [步骤2] 3. [步骤3] 4. [步骤4] - **解决方案**：[具体的修复建议] ## 示例 **输入**：【报错信息】 ``` TypeError: Cannot read property 'length' of undefined at processData (app.js:25:18) at main (app.js:10:5) ``` **输出**： - **错误类型**：运行时错误 - TypeError - **可能原因**： 1. 变量未正确初始化就被访问其 length 属性 2. 函数参数传递了 undefined 值 3. 异步操作中数据还未加载完成就尝试访问 - **调试步骤**： 1. 检查 app.js 第25行附近的变量声明和赋值 2. 在访问 length 属性前添加类型检查：`if (variable && variable.length)` 3. 使用 console.log() 输出相关变量的值确认其状态 4. 检查函数调用时传入的参数是否正确 - **解决方案**：在访问对象属性前先验证对象是否存在，或确保变量在使用前已被正确初始化。

AI代码辅助与测试代码生成故障排查