NVIDIA GTC 2026大会前夕,北大系创业公司寒序科技宣布完成数千万元融资(投资方为启高资本、赛意产业基金,源合资本担任独家财务顾问),同时亮出重磅技术成果:首颗芯片样片回片测试全面跑通,单位面积带宽达100 GB/s/mm²;下一代「MRAM+SRAM」混合架构直指2000 Tokens/s推理速度极限。
这家蛰伏两年的企业,以「超大带宽流式推理」为核心路线,剑指大模型推理的「内存墙」难题,成为国产算力在AI推理赛道挑战英伟达霸权的关键力量。
一、行业背景:推理成算力竞争核心,GPU架构遭遇天生瓶颈
随着AI Agent(智能体)、具身智能的大规模落地,算力焦点已从「训练阶段」全面转向「推理阶段」——大模型生成Token的过程是串行流式的,本质是执行矩阵向量乘(GEMV:y=Wx),属于「带宽受限计算」,而非训练阶段的「算力受限计算」。
传统GPU(如H100/Blackwell)为并行计算设计,内置复杂动态调度、乱序执行与多级缓存机制,在推理场景中存在致命错配:浮点运算单元(ALU)大量空转,等待显存搬运权重指令,导致算力闲置与延迟波动,即难以逾越的「内存墙」。为弥补这一缺陷,英伟达传闻以200亿美元估值绑定北美推理芯片公司Groq,试图垄断推理架构核心技术。
在此背景下,寒序科技的技术突破,打破了海外企业在推理芯片赛道的路线垄断,为国产算力提供了「非通用架构」的突围路径。
二、核心技术:三大创新重构推理芯片架构
寒序科技采用与GPU截然不同的「确定性流式处理」路线(与Groq核心理念共鸣,但实现进化),架构被形象称为「生产线模式」,核心创新包括三点:
算法指导的确定性调度:摒弃传统处理器的复杂缓存与动态调度,通过神经网络前向传播算法规划数据流动,数据在芯片内的位置预先确定,彻底消除延迟抖动;
算子优化的数据通路:芯片内部划分为片上权重存储、GEMV计算单元、向量运算单元,针对性优化Transformer模型,实现「数据到达即计算」的完美流水线;
极致带宽优先设计:推理速度的核心决定因素是带宽利用率而非FLOPS,寒序将带宽推向物理极限,成为其核心竞争力。
三、关键成果:从样片验证到下一代架构规划
1.首颗样片:跨越「死亡之谷」的硬核指标
芯片初创公司从架构设计到流片验证的「死亡之谷」是核心挑战,而寒序首颗样片已全面通过测试,关键指标惊艳:
单位面积带宽达100 GB/s/mm²,远超传统HBM3e显存方案,且比Groq芯片的单位面积权重存取密度更高,相同尺寸下处理效率更优;
核心功能与技术逻辑完全验证,为量产奠定基础,可满足AI Agent对低延迟的苛刻要求。
2.下一代架构:MRAM+SRAM混合存储,破解Groq短板
寒序并未止步于复刻Groq,而是针对性解决其「纯SRAM存储密度低、模型容量受限」的致命弱点,首创「片上MRAM+SRAM混合架构」:
SRAM(静态随机存储器):负责高速缓存与中间变量计算,保持极低延迟;
MRAM(磁性随机存储器):非易失性存储器,速度接近SRAM,密度远高于SRAM且功耗极低;
目标性能:2000 Tokens/s,是当前主流对话模型推理速度(30-50 Tokens/s)的40-60倍,一旦量产将彻底改写实时AI应用的算力格局。
四、性能价值:三大场景实现颠覆性突破
若2000 Tokens/s的目标落地,将对核心AI场景产生革命性影响:
具身智能:机器人可在毫秒级完成视觉输入到动作指令的推理闭环,响应速度满足实时交互需求;
实时同传:翻译彻底告别「滞后感」,实现说话与翻译的同步输出;
多智能体协作:OpenClaw等多智能体的复杂规划任务,可瞬间完成多次自我博弈与修正,大幅提升决策效率。
五、团队与战略:北大基因加持,剑指国产算力突围
寒序科技成立于2023年8月,核心创始团队源自「北京大学磁学中心」,是典型的「科学家+工程师」组合,在新型存储器(MRAM)与存算架构融合领域拥有深厚学术积累和工程经验,为异构架构设计提供了核心支撑。
其战略意图明确:不在GPU的传统赛道内卷,而是重构推理时代的「底层指令集」,打造不依赖海外高端HBM供应、通过架构创新实现弯道超车的方案。选择在GTC 2026前夕释放进展,既是对英伟达的直接回应,也彰显了国产算力在推理赛道的竞争决心。
六、行业意义:推理芯片的终局之战,国产架构破局
AI推理是AGI落地的「最后一公里」,谁能主导推理芯片架构,谁就掌握了AI大规模应用的算力命脉。寒序科技的融资与技术突破,标志着国内企业已在推理芯片的核心指标上达到国际领先水平:
对比英伟达:以架构创新突破GPU天生瓶颈,避免在传统路线上的被动跟随;
对比Groq:通过混合存储架构解决容量短板,兼顾速度与实用性;
对行业而言:为中小企业提供高性价比推理方案,打破海外技术垄断,推动AI推理算力的国产化普及。
随着Agent、多模态模型的爆发,推理芯片的竞争将决定AI能否真正走进各行各业。寒序科技的崛起,为国产算力在这一硬核赛道落下关键一子,也预示着「非通用架构」将成为挑战英伟达算力霸权的核心方向。