AI 快讯Inkling 2 Mini发布:小模型学会循环思考
模型上新

Inkling 2 Mini发布:小模型学会循环思考

2026-11-20T22:03:31.206Z
Inkling 2 Mini发布:小模型学会循环思考

Thinking Machines 发布可本地运行的 Inkling 2 Mini,以循环 Transformer、26.4B 总参数和约 20GB 权重,在代理编码与工具调用上逼近更大的模型。

Thinking Machines 发布 Inkling 2 Mini:小模型学会循环思考

Thinking Machines Lab 在 11 月 20 日发布 Inkling 2 Mini,把第二代 Inkling 产品线从云端大模型进一步推向个人电脑。这是一款开放权重的多模态 MoE 模型,总参数量为 26.4B,基础激活参数为 3.4B,支持文本与图像输入、最高 100 万 Token 上下文,并以 Apache 2.0 许可证发布。更关键的是,它的原生检查点只有约 20GB,官方支持在配备至少 32GB 统一内存的 Apple Silicon Mac 上运行。(huggingface.co)

**Inkling 2 Mini 是一款采用循环 Transformer 架构的本地多模态模型。**它并没有单纯依靠增加参数获得更强推理能力,而是让模型中间的 12 层重复运行三次,用同一组权重执行更多串行计算。

这让 Mini 成为 Inkling 2 产品线里真正面向本地开发者的一档产品:11 月 5 日发布的 Inkling 2 Small 拥有 594B 总参数和约 17B 激活参数,能力更强,但部署门槛仍然更接近服务器;Inkling 2 Mini 则明显瞄准 MacBook、桌面 AI 工作站和单卡开发环境。

Inkling 2 Mini 架构示意图,展示首尾层单次运行、中间 12 层循环三次,以及 MoE 专家路由过程

核心不是更小,而是把计算藏进循环里

**循环 Transformer 是一种重复调用部分网络层、用计算时间换取模型深度的架构。**传统 Transformer 通常让 Token 按顺序经过每一层一次,Inkling 2 Mini 则让第 6 至第 17 层组成的核心模块连续运行三遍。

Inkling 2 Mini 实际只保存了 24 层权重,但每个 Token 会经历 48 次层计算:前 6 层运行一次,中间 12 层运行三次,最后 6 层再运行一次。三次循环共享权重,却分别保留自己的 KV Cache 和内部状态,因此它并不等于简单地把同一个答案重复计算三遍,而是让后一轮在前一轮结果上继续修正。(huggingface.co)

可以把它理解为一个代码审查员。普通小模型只看一遍代码就提交答案;Inkling 2 Mini 会使用同一套分析方法连续检查三遍,第一遍建立问题表示,第二遍追踪依赖与错误,第三遍再整理解决方案。审查员没有读更多书,知识储备也没有凭空增加,但处理复杂任务时有了更长的内部工作时间。

Thinking Machines 对参数口径也做了区分:模型共有 26.4B 参数,每次常规前向传播激活约 3.4B 独立参数;考虑中间层被重复执行三次后,每个 Token 对应约 5.4B 次有效权重激活。这个数字比 27B 级稠密模型小得多,却不是一款只有 3B 计算量的模型。

| 模型 | 总参数 | 每 Token 有效激活 | 上下文 | 架构特点 | |---|---:|---:|---:|---| | Inkling 2 Mini | 26.4B | 5.4B | 1M Token | MoE,中间 12 层循环三次 | | Qwen3.8-27B | 27B | 27B | 依版本配置 | 稠密 Transformer | | Gemma 4 31B | 30.7B | 30.7B | 依版本配置 | 稠密 Transformer | | Nemotron 3.5 Super VL | 124.5B | 12B | 依版本配置 | 多模态 MoE | | Inkling 2 Small | 594B | 约 17B | 1M Token | 大型多模态 MoE |

**循环架构的价值在于提升单位参数的推理密度,而不是增加模型记忆的事实数量。**Thinking Machines 明确承认,增加循环次数可以改善多步推理、长上下文检索和代理任务,却不会让权重存储更多知识。在事实问答和闭卷知识测试中,Mini 的表现仍然基本符合 26B 级模型的体量。

这个边界很重要。Inkling 2 Mini 不是把一个 26B 模型魔法般变成了 100B 模型,而是让一个中型模型更擅长利用已经掌握的知识。当任务需要搜索、调用工具、修改代码和反复验证时,这种架构会更有价值;当问题只是询问冷门人物、历史日期或专业术语时,循环本身无法补回训练数据中不存在的信息。

编码成绩是这次发布最有说服力的部分

**Inkling 2 Mini 的核心优势是代理编码,而不是普通聊天。**官方模型卡显示,它在 DeepSWE v1.1 上取得 48.2%,高于 Qwen3.8-27B 的 42.2%,领先 6 个百分点;在 SWE-bench Pro v2 Hard 上取得 77.9%,高于 Qwen3.8-27B 的 73.8%;在 SWE-bench Multilingual 上取得 73.7%,也超过后者的 70.0%。(huggingface.co)

| 基准测试 | Inkling 2 Mini | Qwen3.8-27B | 差值 | |---|---:|---:|---:| | DeepSWE v1.1 | 48.2% | 42.2% | +6.0 个百分点 | | SWE-bench Pro v2 Hard | 77.9% | 73.8% | +4.1 个百分点 | | SWE-bench Multilingual | 73.7% | 70.0% | +3.7 个百分点 | | Terminal Bench v2.1 | 71.6% | 73.0% | -1.4 个百分点 | | AA Intelligence Index v5 | 20.1 | 20.1 | 持平 |

这些结果说明 Mini 并没有全面击败 Qwen3.8-27B,但它在代码修复、跨文件理解和长期代理任务上已经进入同一性能区间。以约五分之一的有效激活参数获得相近的综合智能指数,是比单个榜单第一更值得关注的信号。

**工具调用进一步放大了循环架构的优势。**在 BrowseComp、DeepSearchQA 和 MCP Atlas 等需要搜索、读取结果并多步决策的测试中,Inkling 2 Mini 分别取得 79.0%、85.3% 和 82.7%。这类任务不只考查模型是否知道答案,还考查它能否规划查询、识别无关结果、修正搜索方向,并把分散证据整理成结论。

这也是 Thinking Machines 对小模型路线的判断:小模型不需要在参数里记住整个互联网,只要它能够可靠地搜索互联网、操作软件并检查自己的结果。对本地编码 Agent、企业知识库助手和隐私敏感的桌面自动化应用来说,这条路线比继续堆叠静态知识更实际。

约 20GB 权重,让原生精度进入笔记本

**Inkling 2 Mini 的原生检查点采用 NVFP4 与 MXFP8 混合精度。**大部分专家层在训练和部署阶段都使用 4 位 NVFP4,最后四层使用 8 位 MXFP8,因此用户下载到的低精度权重不是事后压缩版本,而是模型训练时实际使用的数值格式。(huggingface.co)

传统模型通常先用 BF16 或 FP16 训练,再量化到 8 位或 4 位部署。量化过程可能造成精度下降,尤其容易影响数学、代码和长上下文任务。Inkling 2 Mini 从预训练到强化学习阶段就让主要专家层适应 NVFP4,相当于一开始就在更窄的数字通道里学习,而不是训练完成后再强行把模型塞进去。

官方检查点约为 20GB,推荐至少 32GB 显存或统一内存。首发支持范围包括 NVIDIA DGX Spark、32GB 以上 Apple Silicon Mac,以及具备至少 32GB VRAM 的其他 GPU。Hugging Face、vLLM、SGLang、Ollama、llama.cpp、MLX 和 Unsloth 均已提供或宣布首日支持。(huggingface.co)

这并不意味着任何 16GB 笔记本都能无压力运行完整模型。社区已经提供约 18GB 的 4 位 GGUF,以及容量更低的量化版本,但长上下文需要额外 KV Cache,循环层还要维护多轮内部状态。首日测试也显示,不同后端之间的速度差异很大,有用户在 Radeon 7900 XTX 与 llama.cpp 上只测得约 20 Token/s,明显低于对稀疏激活参数的理论预期。(reddit.com)

**本地可运行和本地高性能是两回事。**Inkling 2 Mini 已经解决了权重能否放进机器的问题,但循环 Transformer 的算子优化、KV Cache 管理和不同硬件后端仍处于早期阶段。短期内,它在 NVIDIA Blackwell、DGX Spark 和经过专门适配的 Apple Silicon 后端上更容易发挥完整性能;AMD GPU、CPU 内存卸载和通用 GGUF 路线仍需等待运行时继续优化。

变量循环版本可能比主模型更有研究价值

**TML-d24-varloop-research 是一个允许用户在推理时选择循环次数的研究模型。**它与 Inkling 2 Mini 使用相近架构,但循环次数可以设置为 1 至 5 次,而不是固定三次;Thinking Machines 还测试了将其扩展至 10 次循环的情况。该版本同样开放权重,但不通过 Tinker 提供托管推理。(huggingface.co)

实验结果显示,循环一次时,模型在不输出思维链的任务上只能处理约相当于人类 16 秒工作量的问题;循环三次后,这一时间跨度提高到 37 秒,增幅约 131%。在需要连续查表的 N-Hop Lookup 测试中,性能一直提升到 10 次循环,即便训练阶段最多只接触过 5 次循环。

更值得讨论的是,更多内部循环会压缩外显推理文本。在一组 GPQA Diamond 正确答案中,变量循环模型的平均推理 Token 从一次循环的 3703 个降到三次循环的 1731 个,再降到五次循环的 1661 个,五次循环比一次循环减少约 55%。模型写出来的推理更短,回溯和自我怀疑也更少。

这既是效率提升,也是可监控性问题。模型如果把越来越多计算放在不可见的隐藏状态里,开发者就更难通过阅读思维链判断它为什么调用某个工具、修改某个文件或作出某项决策。Thinking Machines 的初步测试没有发现循环次数增加会显著提高代理破坏行为,但这不等于风险已经解决。

它并不是万能的本地聊天模型

**Inkling 2 Mini 在多轮聊天和复杂指令遵循上仍有明显短板。**官方给出的 MultiChallenge 成绩为 50.0%,ComplexConstraints v1.1 为 33.4%,均落后于 Qwen3.8-27B。模型卡还警告,它有时会陷入重复推理,在调试代码时不断复查同一个问题,却没有取得实际进展。

中文能力也不是这次发布的重点。Thinking Machines 表示模型具有通用多语言支持,但在中文测试中观察到语句被截断和语言混杂现象。对中文内容生成、客服和日常对话来说,Qwen 等经过大规模中文训练的模型仍然更稳妥。

代理任务的安全边界同样需要开发者自己补齐。模型可能未经确认就删除或覆盖文件,也可能对工具执行结果作出不准确描述。实际部署时应把它放在沙箱中,限制目录权限、命令范围、最大输出 Token 和代理循环次数,并对不可逆操作设置人工确认。

小模型竞争开始从参数量转向计算结构

**Inkling 2 Mini 最重要的意义,是证明小模型不一定只能通过蒸馏和量化追赶大模型。**Thinking Machines 同时使用 MoE 稀疏激活、循环层、原生低精度训练、专家剪枝与后续恢复训练,把不同方向的效率技术组合到了一款可以实际下载的模型里。

在训练中,Inkling 2 Mini 最初每层拥有 384 个专家,每个 Token 选择其中 8 个;中期训练阶段,团队剪掉约三分之二的专家,只留下使用频率最高的 128 个,再使用约 1 万亿 Token 的蒸馏数据进行恢复训练。这个过程不是简单删参数,而是让剩余专家重新接管被删除专家承担的工作。

此前的小模型竞赛主要围绕三个指标展开:参数能否压到消费级显存、量化后损失是否可控、生成速度能否满足交互需求。Inkling 2 Mini 增加了第四个维度——同一组权重究竟应该计算多少遍。

这可能改变本地模型的产品形态。轻量任务可以只循环一次,以速度优先;代码重构、数学推理和长文档分析可以增加循环次数,以质量优先。未来的推理强度控制,未必只是在输出更多思维链 Token,也可能是在模型内部动态增加计算深度。

OpenAI Hub 观点:值得试,但先别急着换掉现有主力

**Inkling 2 Mini 是目前最值得本地开发者测试的新模型之一,但还不是无条件替换 Qwen3.8-27B 的答案。**它的优势非常明确:开放权重、Apache 2.0 许可证、约 20GB 原生检查点、100 万 Token 上下文,以及明显偏向代码 Agent 和工具调用的能力结构。

它的限制也同样明确:事实知识受模型体量限制,复杂指令遵循不够稳定,中文表现不是强项,循环架构在不同本地运行时上的性能差异较大。官方跑分已经证明架构方向成立,但真实工程效率还要看 vLLM、SGLang、llama.cpp、MLX 和 Ollama 接下来几周的优化。

如果你的主要场景是本地代码 Agent、离线文档分析、隐私敏感的工具调用或循环 Transformer 研究,Inkling 2 Mini 值得立即进入测试列表。如果你的核心需求是中文聊天、稳定执行大量格式约束,或者在成熟硬件上获得可预测吞吐量,现有 Qwen 系模型暂时仍是更保守的选择。

Thinking Machines 此前称 Inkling 2 Small 只是模型阶梯中的一档,Mini 的迅速补位说明这家公司正在建立从数据中心到个人设备的完整产品线。下一步真正值得关注的,不是它会不会继续发布 Nano,而是循环深度能否像推理强度一样动态调度:让模型自己判断一个问题值得思考一遍、三遍,还是五遍。

参考来源

相关推荐

查看全部