9月7日消息，由南洋理工大学、新加坡国立大学等机构学者参与、颜水成、苗春燕、林明宝担任通讯作者的团队，发布并开源了面向实时语音智能体的记忆框架 VoiceMem。论文于8月26日提交 arXiv，代码、数据集与模型自8月20日起分四批放出，采用 Apache 2.0 协议。
VoiceMem 把记忆拆成两半：左脑管事实，回答“之前发生了什么”；右脑管人格与情绪，回答“我在和谁说话”。团队把检索藏进用户说话与语音端点检测（VAD）的等待时间里，双脑检索耗时 134 毫秒，落在约 500 毫秒的 VAD 窗口内，不给对话增加可感知的延迟。论文报告的 LoCoMo 基准得分为 91.2，比 Mem0 在 200 条检索预算下的 61.68 高出 29.52 分。这些数字出自论文自测，目前没有第三方独立复现。
左脑记事实，右脑记人
现有记忆系统按文本对话设计，检索一轮要 2 到 3 秒。实时语音为了保住轮流说话的节奏，留给附加环节的预算约 100 到 200 毫秒。这是 VoiceMem 要解决的核心矛盾。
左脑用“模式（schema）—实体”两级索引组织事实记忆。检索时，索引层负责圈定语义相关的候选池，底层引擎的搜索范围收窄到候选池内，不做全库扫描。论文把这套设计的收益归于候选池的信息密度：Top-5 预算下的准确率来自更干净的候选集，而非更复杂的排序算法。
右脑维护人格记忆，分两类节点。独立节点记录用户稳定的性格、习惯与情绪倾向；跨实体节点记录指向具体对象的情绪，比如对某个人、某件事的态度。每轮对话做一次短期归因，会话结束后再做长期归因，把多次出现的模式沉淀成稳定画像。
压低延迟靠的是四阶段流式检索。用户说话期间，系统边听边转写，逐句匹配相关实体与模式；静音达到 200 毫秒时，系统按这一轮行将结束来预判，算出查询向量并扩展候选集；等静音触及 VAD 阈值，末段执行后端查找。VAD 的常规阈值为 500 毫秒，134 毫秒的双脑检索留有富余。
数字怎么读
论文在 LoCoMo（长对话记忆基准）上报告 91.2 分，检索预算为 Top-5、约 430 个记忆 token。对照之下，Mem0 以裸后端形态跑出 61.68 分，EverMemOS 为 83.13 分，token 消耗 1,899 个。VoiceMem 的 430 个 token，约为 Mem0 同项消耗 6,956 的十六分之一。
人格记忆一侧，VoiceMem 在 ES-MemEval、PersonaMem、PersonaLens 三个基准上平均 74.16 分，比基线中最强的 MemOS（72.27 分）高 1.89 分；搭配团队微调的回复模型后升至 76.56 分。
这组数字有两条口径需要说明。除标注外，各系统的回复模型统一为 GPT-4o-mini，比较的是记忆检索质量，不是模型本身的对话能力。评测采用 LLM 打分，成绩由论文团队自测得出。在第三方复现出现之前，“超过 Mem0 近 30 分”应读作论文口径下的结果。
代码、数据、模型一起开源
与论文同步放出的不只是框架。团队在 GitHub 仓库开源了 ChatMem-400K 训练数据集、ChatMem-Bench 评测基准，以及基于 Qwen2.5-Omni、Qwen3-Omni 和 Step-Audio2-Mini 微调的记忆模型家族，微调与评测代码随仓库公开。仓库 9月1日更新至 v0.0.2，开放了可插拔的语音合成层。
接入路径是 pip 安装后把 VoiceMem 作为记忆层挂在自有语音模型上：它负责监听语音、预取记忆并把 Top-K 条结果注入上下文，生成回复的模型由开发者自行决定。仓库采用 Apache 2.0 协议，团队承诺永久保持全部开源。
它的增量在记忆管理层
把 VoiceMem 放进记忆系统赛道看，它的底层引擎可以复用 Mem0。论文测试里，同一套上层索引换到 LangMem、Zep 两个后端，分别带来 15.8 到 29.5 分的提升。这组迁移实验说明，拉开差距的是上层的索引组织与流式调度。VoiceMem 更像语音智能体的记忆管理层，管索引组织与流式调度；底层存储交给 Mem0 这类引擎。
开发者现在可以 pip 安装后接进自己的语音模型验证。赛道里多了一个代码、数据、评测全部公开的高基线，之后的同类工作很难绕开它做对比。边界还是那一条：数字出自论文自测，真实语音场景里的接入体验与稳定性，要等产品侧部署来回答。
AI 速览
