RSI三块关键拼图，MemT 1.0从模型层补上“记忆” - 爱游戏

人工智能研究领域近期高度聚焦于三个字母：RSI。

Hinton关于RSI的学术论文中，22位署名作者涵盖了Bengio、OpenAI首席科学家Pachocki、Anthropic联合创始人Jack Clark等人物，几乎汇聚了AI领域的多数核心力量。

在业界关注AI自我优化的同时，一个更为根本的问题逐渐显现：

一次优化成果如何转化为后续优化的基础？

有效的方法需要被留存，走过的弯路也需要被辨识，承担这一功能的实际上是记忆。

常见的做法相对直接：为AI附加一个外部经验库，操作步骤和历史教训均可被存储和检索。

记忆张量在此方向的探索则提供了一种不同的方案——记忆原生。

什么是记忆原生？它指的是将经验的储存、更新与调用，转变为模型可学习的能力。

当记忆在模型内部扎根生长，便形成了记忆原生模型。

其最新以开源形式发布的MemT 1.0系列，展示了一条相对明确的路径：

它将经验转化为内部动态状态，通过训练学习如何写入、更新和读取，最终让这些状态经由记忆分支影响后续计算。

与外部记忆方案相比，其能力并未降低，未来发展的上限也更高。

这也是记忆原生模型首次实现接近300B参数规模的工程验证。

（论文链接：https://arxiv.org/abs/2610.26825）

记忆虽无形，却成为模型成长的基础支撑。

从早期要求模型记住信息，到后来有效利用经验，模型对记忆的需求持续提升，记忆也逐渐从幕后走到前台。

将记忆植入模型

MemT 1.0此次直接推出了两个版本：

MemT-1.0-Nano总参数36B、激活参数3B，基座采用“源神”Qwen3.6-35B-A3B；MemT-1.0-Flash则规模更大，总参数达288B、激活参数17B，基座为经过进一步后训练的DeepSeek-V4-Flash。

它们的共同变化在于，均在选定的Transformer模块中增加了一条与原有注意力并行的记忆计算通路。

我们用一个简单例子来说明。

比如面对一个新任务时，外部记忆的做法是将记忆原文、检索证据甚至抽象方法重新放入上下文，让模型复用经验。

其中的检索与整理过程，也可以引入学习机制。

而MemT 1.0这类记忆原生模型则选择更深入地进入模型内部：

经验经过编码，成为可更新的矩阵状态；模型生成答案或执行动作时，通过专门的记忆分支读取状态，读取结果再与原有注意力输出融合，影响后续生成。

差异在于经验如何表示，以及它通过何种计算过程发挥作用。

这种做法带来的好处是，读写参与训练能够实现更顺畅的方法复用，但代价是需要额外机制来实现精确删除、解释与恢复。

外部文本在检查和溯源方面更为便利，两者目前各有优劣。

要真正看出差异，还需在应用经验后观察模型的实际运行表现。

先看一个程序员熟悉的场景：修改代码。

接收Bug→定位代码→动手修改，基本遵循这个流程。但如果一开始问题未能复现、边界条件也未确认，修改反而可能引发更多漏洞，问题会层层传递。

以SWE-bench Verified为例，其中有一项涉及Django的parse_http_date函数，需要修复两位数年份的解析逻辑。

研究团队比较了无经验、文本经验和记忆原生三种设置下的执行轨迹。

无经验时，Agent找到Bug后很快开始修改解析逻辑，后续步骤中才进行定向复现与验证。有经验的两组则均先构建复现测试，再修改代码。

其中，MemT-1.0-Nano在初次修改后重新检查了一项边界条件，修正了实现，并进行了额外验证。

可以明显看出，经验改变了行动顺序，也参与了任务内的检查与修正。

在更大样本上对比，在500项SWE-bench Verified任务中，每项独立运行三次，MemT-1.0-Nano在关键断点的平均成功率为69.73％，无经验基线为66.07％，文本经验组为69.13％。

三次全部成功的任务比例，从无经验时的54.00％提升至62.80％，文本经验组为61.80％。

再看SWE-bench Multilingual任务中，相同触发设置下，原生记忆组平均成功率为63.56％，无经验组为60.00％，文本经验组为63.00％。

换言之，这些程序性经验能通过记忆原生得以保留，表现与显式文本经验相近，优势更多体现在平均成功率和重复执行的可靠性上。

更直观地，来看一段像素风格的迷宫探索演示。

同一个迷宫，相同的移动速度，左侧是没有记忆原生的Agent，右侧是具备记忆原生的MemT 1.0。

第一轮，两边都需要探索未知路线，也都会进入死胡同。

差异出现在这一轮结束后：成功路线和需要避开的岔路被整理归档，并加载到MemT 1.0的记忆中，为下一轮探索提供参考。

到了第二轮，同样从起点出发，左侧仍会在岔路上重复试探，右侧则借助上一轮经验，避开已走过的死胡同，沿有效路线抵达终点。

上一轮探索出的路线，开始直接影响下一轮的行动，这就是记忆原生值得做的具体体现。

再来一个更接近日常办公的信息更新场景。

展览原定周六下午3点，后来正式改到周日下午4点。之后又有人建议改到周一，但尚未最终确定。

这种反复变化的信息增量，对AI来说颇具挑战。

不仅要记住最后出现的日期，还需区分正式决定和随口建议，并保留那些未变的内容。

实验在多轮对话后，MemT-1.0-Nano仍然成功理解，回答出了原定时间、正式修改后的时间，并确认其他安排未发生变化。

在11项记忆基准的综合评估中，Flash和Nano的表现同样突出。

平均得分分别为50.6和47.0，位列参与评估的参数化记忆方法前两名，与其他模型相比优势明显。

不过坦白说，文本记忆系统整体仍有优势，尤其是在长历史的细节召回方面。

MemT 1.0今天呈现的，只是记忆原生新思路的初步计算实现，但实际效果已能与文本记忆相媲美，继续发展下去，潜力巨大。

记忆原生，原生在何处？

那么问题来了，经验并未留在任务上下文中，模型又是如何利用它的？

这正是MemT 1.0的架构关键所在。

MemT 1.0提供的原生路径是，先将相关经验编码为内部动态状态。生成后续动作时，当前查询通过专门的记忆分支读取该状态，再将结果与原有注意力输出融合。

在具体参数化实现中，MemT 1.0保留基座的原有计算流程，在选定的Transformer模块中加入原生记忆分支，拆解来看包含三层：

• 主干权重：承载模型已有的通用能力，并在训练记忆时保持冻结；
• 超记忆：读写投影、门控等可训练参数，决定如何编码、更新和读取记忆；
• 局部记忆：动态矩阵状态保存交互中新加入的信息。

这样区分后，模型不仅能携带新的经历，也不必每次都微调整个主干，只有对应任务轨迹的动态状态发生变化。

这套机制的读写也很有讲究。

写入时，隐状态经过投影，生成记忆的键值；擦除、写入和遗忘门控，共同调节已有矩阵中的关联；读取时，当前输入被映射为记忆查询，读出相关信息，再经归一化和输出门控参与后续生成。

更新机制采用基于Gated DeltaNet-2的逐Token生成，并做了稳定化处理。

（小道消息：Gated DeltaNet-2的作者也参与了相关讨论）

它会在每一轮结束后触发，靠门控调整已有记忆关联，轮内则仍按Token顺序调整状态。

消融实验证明了这一点，将逐Token更新换成整轮聚合后，Nano的记忆基准平均分从约47.0降到了41.0。

六分的差距，足以说明连续的Token级更新能更好地处理记忆衰减，并及时修正轮内关联。

但当记忆内容不断扩充，模型容量不足时怎么办？

这时MemT 1.0依托MoE，提出了MoS（Mixture-of-Storage）解决方案。

MoS将一个记忆原生模块扩展为多个记忆专家，再分别学习存储与使用路由。其采用稠密融合，所有记忆专家都参与计算，路由权重决定各自贡献。

这与基座MoE的稀疏专家路由明显不同。

不过，结构还只是起点。

为了让模型真正学会使用这条通路，团队构建了340亿Token的记忆训练语料，其中包含继续预训练200亿，后训练140亿。

继续预训练的格式统一，先将长文本切成连续片段写进记忆，再让模型拿着记忆状态去回答查询。

每处理完一个片段，模型更新状态，供下一段使用。

后训练进一步对齐任务结果，数据包含三类：记忆原生的语言建模数据、记忆存储与利用数据（例如摘要、续写、压缩等），以及专门强化长程记忆的任务数据。

这里也有一点值得单独提及，此前冻结的主干会充当教师模型，看到完整的历史信息，MemT 1.0作为学生，只能看到自己的记忆状态，再沿着off-policy蒸馏让学生去对齐教师的分布。

综合来看，记忆原生的重点逐渐清晰，将历史编码成状态还只是第一步，接着如何保留、更新和读取才构成记忆原生模型的全部。

这条路线的价值，还需要结合经验复用效果、资源开销和长期运行条件来综合判断。

从持续学习到RSI，记忆打开能力增长空间

那么又有朋友可能问了，为什么要用记忆原生？

现有的外部记忆方案已经很成熟，也有不错的实践案例，相比之下，记忆原生才刚起步，效果也相差不大。

并非如此！记忆原生也有其独特之处：

它让经验的表示与读写本身，开始成为模型能力扩展的对象，也就是MemT团队讨论的Memory Scaling，即从推理增长之外，找到模型性能增长的第三条曲线。

△

原来的经验是否有用，可以看检索后能否改善任务结果；到了MemT 1.0这里，还可以进一步追问：同样的经历，换一种内部表示、更新规则和读取方式，能否用得更有效？

这让提升记忆效果多了一组可以通过训练和架构设计调整的变量。

诚然，这还远不能证明原生记忆的长期上限高于外部记忆，但至少围绕内部状态的训练与容量扩展，可以带来进一步的能力收益。

下一步是验证这些收益能否跨出当前训练分布，在更长交互和新任务中保持。

回到开头的RSI。

一旦打通了记忆原生，对持续学习和RSI的突破也大有裨益。

众所周知，RSI有三块拼图，包括记忆、反馈、验证与更新机制，其中记忆让有效结果能够延续，后两者帮助判断哪些改变值得进入下一轮。

MemT 1.0如今探索的，正是经验承接与复用这一步，它验证了经验能通过原生记忆指导行动，从模型层面补上了第一块，当然也是最重要的一块。

△

如果再往前走，也许局部记忆中积累的经验，就能通过后续训练沉淀到超记忆参数，再反过来改善模型管理记忆的方法。

一旦这个环节成立，通过记录下来的结果和方法，系统或许可以实现跨任务的智能爆炸，也就是RSI的终极目标。

这些还只是理论层面的收益，在应用侧，记忆原生也更有利于企业完成经验积累。

当前行业一说到企业AI，考虑最多的还是早期部署阶段的内容，