MemT-1.0把记忆塞进模型，Agent长期存储缩小66倍

MemTensor 团队近日发布并开源 MemT-1.0，试图把 Agent 的长期记忆从模型外部搬进模型计算层。官方披露的结果显示，MemT-1.0-Nano 在 128K token 历史下，端到端推理速度达到完整上下文方案的约 1.86 倍，单条任务轨迹的持久化存储缩小至约 1/66；历史增加到 256K token 后，速度优势进一步扩大至 3.99 倍。

**MemT-1.0 是一组把可持续更新的动态记忆状态嵌入 Transformer 前向计算的开源基础模型。**此次开源包括 288B 参数的 MemT-1.0-Flash 与 36B 参数的 MemT-1.0-Nano，核心目标不是继续把上下文窗口做得更长，而是让模型把反复使用的历史经验压缩成可持续读取、覆盖和遗忘的内部状态。

截至 2026 年 10 月 25 日，这项工作最值得关注的地方并不是“模型像人一样越用越聪明”的宣传，而是它第一次把 Agent 长期运行时最现实的两笔账——历史预处理时间和持久化存储成本——拉到了模型架构层解决。

66倍不是模型压缩，而是会话状态压缩

**“存储缩小 66 倍”指的是单条任务轨迹持久化状态相对完整上下文 KV cache 的缩减，并不代表模型权重缩小了 66 倍。**这是理解 MemT-1.0 时最容易被标题误导的地方：36B 的 Nano 仍然是 36B 模型，288B 的 Flash 也没有突然变成小模型，减少的是长期 Agent 为保留历史而保存的状态。

传统长上下文 Agent 通常保存原始消息、工具调用结果、代码差异和执行日志，并在下一轮重新送入模型。更激进的方案会持久化 KV cache，避免重复计算一部分前缀，但 KV 状态仍会随 token 数量近似线性增长。一个运行数周的软件工程 Agent，很容易积累数十万乃至上百万 token；每次重新读取这些历史，就像员工开始工作前必须把过去几个月的工单从头翻一遍。

**MemT-1.0 的做法更接近把工作经验写成“肌肉记忆”。**它不要求后续请求重新携带全部原始轨迹，而是把历史中的程序性经验逐步写入动态记忆矩阵，例如先复现缺陷再改代码、修改后检查边界条件、遇到特定项目结构时优先运行哪些测试。这种记忆不是一段等待检索的原文，而是会直接影响后续 token 计算的模型状态。

官方实验称，Nano 版的单会话记忆状态保持在约 40 MiB，并与已经处理的历史长度解耦；无论历史是 128K token 还是进一步增长到 1M token，持久状态都不需要像完整 KV cache 那样同步膨胀。固定体积当然不等于无限容量，它意味着新经验必须经过压缩、覆盖与遗忘，代价是部分细节不可避免地损失。

它没有在线修改基础权重

**MemT-1.0 内化的是动态记忆状态，而不是在每轮对话后重写全部基础模型权重。**更准确的类比是：基础权重负责通用能力，动态记忆矩阵负责某个会话、Agent 或部署实例积累下来的经验；前者保持稳定，后者可以持续演化。

这种区分很重要，因为“每次交互都训练模型”会让人联想到在线微调、梯度回传以及灾难性遗忘。MemT-1.0 的在线记忆更新位于前向计算路径中，通过专门训练出来的门控机制更新状态，不需要每完成一个任务就启动一轮常规参数训练。它更像一套被模型学会使用的 fast weights，而不是不断生成新的 LoRA 适配器。

**Gated DeltaNet-2 是 MemT-1.0 用来执行逐 token 稳定记忆更新的机制。**模型在选定的 Transformer 模块中并联记忆分支，通过写入、擦除和遗忘等门控操作改变动态记忆矩阵，让新信息进入状态，同时压低已经过时或冲突的内容。

如果把普通注意力理解为“在桌面上摊开当前材料”，那么 Gated DeltaNet-2 更像“边阅读边改写一本容量有限的工作手册”。模型不需要一直保留每一张草稿，但必须判断哪些操作模式值得写进手册、哪些旧规则已经失效，以及发生冲突时应该覆盖多少。

**Mixture-of-Storage（MoS）是通过多个记忆专家扩展内部存储容量的混合存储层。**它与 Mixture-of-Experts 的思路相似，但分配的不是主要计算能力，而是不同的记忆槽与存储子空间；MemT-1.0 使用稠密路由组合多个记忆专家，使一次输入可以读取或更新不止一个存储区域。

MoS 解决的是单一记忆矩阵容易成为容量瓶颈的问题。代码规范、工具使用习惯、项目目录结构和历史故障模式并不属于同一种信息，把它们全部挤进同一块状态，容易产生干扰；多存储专家至少为记忆分区提供了架构基础。不过，稠密路由也意味着多个专家会共同参与计算，它换来的主要是容量和表达能力，而不一定是类似稀疏 MoE 那样的计算节省。

查询与写入被刻意分开

**MemT-1.0 并不是用户每问一句话就永久修改一次记忆。**在官方描述的运行方式中，系统会在任务轨迹的特定检查点提交经验，模型回答问题时只读取当时已经存在的记忆，并创建请求级临时工作状态；回答结束后，临时状态被释放，普通问答本身不会自动污染下一轮记忆。

这种设计是在稳定性与持续学习之间做隔离。假如任何输入都能直接写入长期状态，一次提示词注入、错误工具输出或用户随口提出的假设，都可能演变为持续数周的记忆污染。把读取、临时推理和持久化提交拆开，至少允许 Agent 框架先验证任务结果，再决定是否将经验写入。

**MemT-1.0 仍然需要上层执行框架判断何时提交记忆。**因此它不是对 RAG、任务日志和权限系统的彻底替代，而是给 Agent 增加了一种更靠近模型底层的经验载体。哪些轨迹算成功、错误经验如何撤回、跨用户记忆是否隔离，依旧是产品和基础设施层必须解决的问题。

长历史越长，速度优势越明显

**MemT-1.0 的性能收益主要来自不再反复准备完整历史，而不是生成阶段突然快了数倍。**官方效率测试采用双 GPU、单并发，并固定生成 128 token；统计的端到端延迟包含历史准备与生成，因此历史越长，省去历史重载和预填充带来的收益越明显。

| 方案或指标 | 短历史 | 32K历史 | 128K历史 | 256K历史 | 持久化状态特征 | |---|---:|---:|---:|---:|---| | 完整上下文 / KV cache | 通常更有优势 | 作为对照基线 | 1.00× | 1.00× | 随历史 token 数近似线性增长 | | MemT-1.0-Nano | 可能更慢 | 大致追平 | 约1.86×速度 | 约3.99×速度 | 约40 MiB固定记忆状态 | | Nano存储收益 | 不突出 | 未强调 | 约缩小66倍 | 优势继续扩大 | 与历史长度增长解耦 |

这组数字说明 MemT-1.0 并不适合被简单包装成“所有请求都更快”。短历史下，额外的记忆分支和状态读取存在固定开销，Nano 甚至可能慢于直接塞入上下文；到 32K token 左右才大致追平，进入 128K、256K 这类真正的长期任务后，架构收益才开始显现。

**66 倍也不是可以无条件外推到所有硬件和部署配置的通用比例。**测试只覆盖特定模型、双 GPU、单并发和固定输出长度，实际吞吐还会受到 batch size、量化方式、显存带宽、KV 精度、并行策略以及记忆状态读写位置影响。对于只有几千 token 历史的客服问答，向量检索或摘要可能更便宜；对于持续运行数天的编码 Agent，固定状态才更可能改变成本曲线。

记忆评测领先，Agent提升比问答跑分更有意义

**MemT-1.0 在 11 项记忆基准上超过了参与比较的参数化记忆基线。**Flash 平均得分为 50.6，Nano 为 47.0，最强对照 Temp-LoRA 为 38.1；前两者分别领先 12.5 分和 8.9 分。

| 模型或方法 | 参数规模 | 11项记忆基准平均分 | 与Temp-LoRA差值 | 主要记忆形态 | |---|---:|---:|---:|---| | MemT-1.0-Flash | 288B | 50.6 | +12.5 | 模型内部动态记忆 | | MemT-1.0-Nano | 36B | 47.0 | +8.9 | 模型内部动态记忆 | | Temp-LoRA | 视基础模型而定 | 38.1 | 基线 | 临时参数适配 | | RAG类方法 | 视系统而定 | 不宜跨设置直接比较 | — | 外部文本检索 |

参数化记忆的意义不只是“记住某个事实”，而是让历史经验改变模型之后的行动顺序。外部 RAG 擅长找回原文，例如从知识库调出一条接口说明；内部动态记忆更适合形成过程习惯，例如修改代码前先写复现测试、执行补丁后主动检查相关边界条件。两者解决的不是完全相同的问题。

**软件工程 Agent 的结果比单纯记忆问答更能说明这套架构有没有实际价值。**在 SWE-bench Verified 的 500 项任务上，由执行框架在关键节点触发经验写入后，Nano 的平均成功率从 66.07%提高到 69.73%，增加 3.66 个百分点；三次运行全部成功的任务比例从 54.00%提高到 62.80%，增加 8.80 个百分点。

稳定性提升尤其值得注意。Agent 的痛点经常不是一次都做不对，而是相同任务重复运行时策略漂移：第一次记得先复现问题，第二次却直接修改代码，第三次又漏掉测试。三次全成功比例提升 8.80 个百分点，说明内部经验对执行流程的一致性可能比对单次能力上限更有帮助。

**多语言软件工程任务也出现了可测量的改善。**披露结果中，SWE-bench Multilingual 平均成功率从 60.00%提高到 62.89%或 63.56%，pass³ 指标则从 45.33%提高到 53.67%或 55.33%。不同数字对应不同模型版本或实验设置，不能混为同一条结果，但方向一致：记忆带来的收益更多体现在重复执行和经验复用，而非单纯扩大知识覆盖面。

它和长上下文、RAG、LoRA不是同一道题

**MemT-1.0 更可能成为长期 Agent 的一层新存储，而不是把现有记忆方案全部清场。**长上下文保留原始细节，RAG 提供可追溯事实，摘要压缩近期对话，LoRA 固化相对稳定的领域模式，MemT 的内部状态则面向高频读取的程序性经验。

| 记忆方案 | 保存内容 | 容量增长方式 | 可追溯性 | 更新成本 | 更适合的场景 | |---|---|---|---|---|---| | 完整长上下文 | 原始消息与工具轨迹 | 随token线性增长 | 高 | 每轮重复预填充 | 短期、高精度上下文 | | KV cache持久化 | 已计算的注意力状态 | 随token线性增长 | 较低 | 存储和迁移成本高 | 固定前缀、连续会话 | | RAG / 向量数据库 | 可检索原文片段 | 随文档数量增长 | 高，可附来源 | 需要切分、索引和检索 | 事实、文档、制度知识 | | 对话摘要 | 压缩后的自然语言 | 可周期性压缩 | 中等 | 便宜但容易丢细节 | 通用聊天和阶段总结 | | Temp-LoRA等参数适配 | 临时参数变化 | 随适配器或任务增长 | 低 | 通常需要训练步骤 | 领域与任务适配 | | MemT-1.0动态记忆 | 压缩后的内部经验状态 | 固定或按存储专家扩展 | 低 | 前向门控更新 | 长期Agent、程序性经验 |

最合理的产品架构很可能是分层组合：最近几轮放进上下文，合同和文档由 RAG 提供原文，已经反复验证的工作模式写进 MemT，完整执行日志进入低成本归档。把所有信息都压成内部状态，会失去审计和引用能力；把所有信息都保留成原文，又会回到延迟与存储随历史增长的问题。

真正难题从“记不住”变成“忘不掉”

**固定大小的记忆矩阵必然面临容量饱和与相互干扰。**当一个 Agent 服务一年、处理数千个代码库时，40 MiB 状态不可能无损保存每个细节；模型必须决定哪些经验值得长期保留，哪些只适用于某个项目，以及旧经验何时应该被新规则覆盖。

记忆污染也会成为新的安全边界。如果攻击者诱导 Agent 把恶意操作流程提交为成功经验，那么影响可能跨越当前会话持续存在；这种攻击比普通提示词注入更隐蔽，因为删除原始对话并不一定等于清除已经写入的内部状态。

**企业部署需要为内部记忆补上版本管理、租户隔离和可撤销机制。**至少应包括以下能力：

• 每次持久化写入都保留任务来源、验证结果和时间戳；
• 用户、项目、组织之间采用独立记忆状态，禁止默认混用；
• 允许回滚到某个检查点，而不是只能清空全部记忆；
• 对高风险写入进行离线复核或多次成功验证；
• 同时保存关键原始证据，避免内部状态成为不可审计的黑箱；
• 对基础模型升级后的记忆兼容性进行迁移测试。

另一个尚未解决的问题是可迁移性。动态记忆状态通常与模型层结构、维度和训练方式绑定，从 Nano 迁移到 Flash、从 1.0 升级到后续版本，未必可以像复制向量数据库那样直接搬走。对企业来说，长期记忆如果无法跨版本继承，就可能形成新的架构锁定。

判断：这是成本曲线创新，不是“数字生命”诞生

**MemT-1.0 最扎实的贡献，是让 Agent 的持久状态不再必然随历史长度线性膨胀。**128K 历史下 1.86 倍端到端速度、66 倍存储压缩，以及 256K 下 3.99 倍速度，说明模型内部记忆在长任务上已经不只是学术概念，而是有机会影响部署成本。

它目前仍不能证明模型拥有开放式自我进化能力。实验中的记忆写入由执行框架在关键节点触发，经验来源受到控制，任务也有明确成功标准；从“能积累经过筛选的程序性经验”到“自主发现目标、修改自身并长期验证”，中间还隔着可靠评估、权限控制和错误回滚等多层系统问题。

**对开发者而言，MemT-1.0 近期最适合的场景是高重复、长轨迹、可验证的 Agent 任务。**软件维护、自动化测试、企业流程执行和长期个性化助手都符合这一特征，因为这些任务会重复出现相似操作模式，并且可以通过测试结果或业务状态判断经验是否有效。

对一次性问答和要求逐字追溯来源的知识任务，RAG 与长上下文仍然更直接。内部记忆的优势在于“做过之后形成习惯”，而不是“永远精确保存每一句话”。

MemT-1.0 因此更像 Agent 存储体系中新出现的一层缓存：它比上下文更持久，比数据库更贴近推理，又比修改基础权重更轻。若后续版本能解决记忆污染、跨版本迁移、状态审计和容量退化问题，长期 Agent 才可能真正从“每次带着厚厚的工作日志重新上班”，走向“保留经验，但不必重读一生”。

参考来源

• MemT-1.0 — Hugging Face：MemTensor 团队的模型发布与权重入口，可用于核对模型卡、许可证及后续版本更新。
• MemT-1.0 architecture breakdown — Reddit：社区对 Gated DeltaNet-2、Mixture-of-Storage、推理速度和 66 倍存储结果的技术讨论。