300亿美元也造不出更强GPT-4?NUS教授揭AI增长真相

算力基建技术迭代推理优化架构优化模型评测与对比

2026-01-03 19:33

302 浏览

0 点赞

AI 速览

新加坡国立大学尤洋教授深度解析AI智能增长的底层逻辑与当前面临的瓶颈，适合关注大模型技术演进与算力投入产出的从业者。核心事实 - 核心观点：智能本质是对未来状态的预测能力，预训练是主要智能来源 - 瓶颈分析：算力增长与智能增长的映射关系开始松动，单纯堆砌算力难获等效提升 - 硬件挑战：计算开销与通信开销比值需维持，系统扩展性比单点芯片性能更关键 - 突破方向：探索更高精度、高阶优化器及更具扩展性的架构或Loss函数价值点帮助读者跳出“降本增效”视角，从工程与物理层面理解大模型发展的极限与未来路径。

2026 年已经到来，AI 的发展也已经进入了一个新的阶段：我们已经取得了惊人成就，却同时面临进一步增长的瓶颈。

当全行业都在讨论如何通过量化、蒸馏来“省钱”时，新加坡国立大学校长青年教授、潞晨科技创始人尤洋却提出了一个更为本质的拷问：

如果给你300亿美元预算，今天我们真的能训出比GPT-4强出几个维度的模型吗？

在《智能增长的瓶颈》一文中，尤洋教授一针见血地指出：

他提出了几个颠覆常规认知的硬核观点：

从电影制作到地震时间预测，我们离真正的AGI还有多远？……

这篇深度长文，或许能带你穿透“降本增效”的迷雾，直达算力与智能最底层的逻辑。

一起来看。

什么是智能？

尤洋没有照搬任何形式化或哲学化的“智能定义”。

相反，他采用了一种非常工程化、面向能力评估的处理方式，通过一组可验证、可实践的判断标准来刻画智能的边界：

这些例子背后，指向的是同一个核心能力：即对未来状态进行预测，并为预测结果承担实际后果的能力

这一锋利的判断，不仅解释了为什么Next-Token Prediction能在过去几年成为事实上的“智能发动机”，也解释了为何许多“在封闭评测中表现出色”的系统，一旦进入真实世界就迅速暴露短板——

它们往往擅长组织与解释已有信息，却难以在不确定环境中对未来做出稳定、可执行的判断。

当然，需要强调的是，将智能高度凝聚为“预测”，更像是在给智能划定一个工程上可对齐算力投入的核心能力维度，而非穷尽智能的全部内涵。

这是一个足够清晰也足够有解释力的硬核视角。而规划、因果建模以及长期一致性等能力，是否能够完全被还原为预测问题，仍然是一个开放议题。

但当我们把智能简化为预测能力时，下一步的问题自然落到：算力是如何转化为这种能力的？

过去几年，行业对训练范式的讨论，常常被“方法论优越感”主导；但如果把目标限定为单位算力能换来多少智能，那么范式本身就不再神秘，而变成了一种算力使用策略。

不同于主流叙事，尤洋在文章中直接把预训练、微调、强化学习三者拉到统一层面，即三者本质上都是在计算梯度，更新参数。

文章指出，当前模型的主要智能来源，依然是预训练阶段——不是因为它更“聪明”，而是因为它消耗了最多的能源与计算

从智能增长角度看，这三者参数更新发生的频率与更新所消耗的算力规模确有不同，但是通过视角的转换，智能增长的讨论就从方法论之争，转向了一个更朴素，也更残酷的问题——

在算力持续投入的前提下，我们是否还能稳定地换取能力增长？

为了回答这个问题，这篇文章回溯了过去十年大模型快速进化的原因。尤洋指出，这一轮智能跃迁的成立，依赖于三件事情同时发生：

因此，Transformer的成功，并不仅仅是算法层面的胜利，更源于模型架构与硬件体系高度匹配的系统性结果

在这三者共同作用下，算力增长、模型规模扩大与能力提升之间形成了一条相对稳定的正反馈链路。

需要注意的是，这一范式的有效性，也在一定程度上受益于语言任务本身的结构特性：语言高度符号化、序列化，且评测体系与训练目标高度一致。

这使得算力增长、模型规模扩大与能力提升之间，在这一阶段形成了一条相对稳定的正反馈链路。

也正是在这一历史条件下，从GPT-1、GPT-2到GPT-3，再到ChatGPT，智能水平得以沿着同一范式持续抬升。

这也自然引出了后文的核心问题：

当算力继续增长时，我们是否还拥有同样可扩展的范式？

尤洋在文中提出了一个非常具体、也非常可操作的标准来判断智能的瓶颈：

如果答案开始变得不确定，那么问题就不在于“算力是否继续增长”，而在于：

这也是文章里反复强调FLOPS的原因：

Token数、参数量、推理速度，往往会混合效率与商业因素；而FLOPS才是最底层、也最难被包装或美化的算力尺度

在这个意义上，所谓“瓶颈”，并不是红利消失，而是算力增长与智能增长之间的映射关系开始松动

更值得一提的是，尤洋在文章中刻意把讨论从“效率优化”里拎出来，换了一个更接近一线大厂决策的场景：

假设今天Google拍给你一张“300亿美元预算”的支票，给你半年DDL——在这种极限训练目标下，你还会优先选择Mamba这类“吞吐量更高”的架构吗？

未必。因为吞吐量解决的是“同等智能更便宜”，不自动等价于“同等成本更聪明”。

真正的难点变成：我们到底有没有一种扩展性更强的架构或Loss函数，能把新增算力更稳定地“吃进去”，并把它转换成可兑现的能力增量？

那么如何能在单位时间内吃下更多算力，并真正将它转化为智能呢？

在正式回答算力转化智能的问题之前，尤洋还对硬件与基础设施层面进行了深入的探讨。

他根据自身多年的从业经验得出，计算开销/通信开销的比值，必须维持或提升，这样才能在继续堆叠GPU的情况下，线性地换来更多智能。

因此，未来AI基础设施的核心目标，应该关注并行计算体系在软硬件层面的整体扩展性，而不仅仅是单点芯片性能。

在这一基础上，尤洋最后提出了多个探索方向，比如更高精度、高阶优化器，更可扩展的架构或者Loss函数，更多epoch与更深度的超参数探索。

这些探索方向，都在试图回答同一个命题——如何让模型在“吃掉”万亿级投入的同时，吐出等比例增强的智能？

对于智能的进一步增长而言，真正重要的，是在极端算力条件下持续变强的能力——这也意味着，预训练所能承载的智能增长空间，可能还远未走到尽头。

回到最初讨论的问题，算力到底还能不能继续转化为智能？

尤洋并未给出断言，但逻辑已经清晰：

好文章，需要你的鼓励

编程报错信息分析与调试指南

# 报错信息分析与调试指南 ## 任务说明请分析用户提供的报错信息，推测可能的错误原因，并提供系统性的调试步骤。 ## 分析要求 1. **错误类型识别** - 确定是语法错误、运行时错误、逻辑错误还是环境配置错误 - 识别具体的错误类别（如空指针、数组越界、类型不匹配等） 2. **原因推测** - 基于错误信息中的关键线索进行合理推断 - 考虑常见的导致此类错误的编程场景 - 分析可能的代码问题或环境问题 3. **调试步骤** - 提供从简单到复杂的逐步调试方法 - 包括代码检查、日志添加、环境验证等具体操作 - 给出预防类似错误的最佳实践建议 ## 输出格式 - **错误类型**：[具体的错误分类] - **可能原因**： 1. [原因1] 2. [原因2] 3. [原因3] - **调试步骤**： 1. [步骤1] 2. [步骤2] 3. [步骤3] 4. [步骤4] - **解决方案**：[具体的修复建议] ## 示例 **输入**：【报错信息】 ``` TypeError: Cannot read property 'length' of undefined at processData (app.js:25:18) at main (app.js:10:5) ``` **输出**： - **错误类型**：运行时错误 - TypeError - **可能原因**： 1. 变量未正确初始化就被访问其 length 属性 2. 函数参数传递了 undefined 值 3. 异步操作中数据还未加载完成就尝试访问 - **调试步骤**： 1. 检查 app.js 第25行附近的变量声明和赋值 2. 在访问 length 属性前添加类型检查：`if (variable && variable.length)` 3. 使用 console.log() 输出相关变量的值确认其状态 4. 检查函数调用时传入的参数是否正确 - **解决方案**：在访问对象属性前先验证对象是否存在，或确保变量在使用前已被正确初始化。

AI代码辅助与测试代码生成故障排查