Bart 开源：2.82B 参数大模型，只读过 1931 年前的英语

**Unbounded Labs 近日发布了 Bart，一款只使用 1931 年以前英语文本训练的 2.82B 参数大语言模型。**团队称，这个项目历时约 3 个月，直接支出约 800 美元，训练语料规模为 20.1B token，目前已经放出在线演示和 Hugging Face 权重。

这里的 Bart 不是旧金山湾区地铁，也不应与 Meta 早年提出的 BART 文本生成模型混为一谈。**Bart 是一款“复古大模型”，即通过严格限制训练材料的年代，让模型尽量在特定历史时期的语言和知识边界内生成内容。**从团队公开的信息看，它的重点不是追求今天常见的代码、数学或聊天榜单，而是构造一个更接近“1930 年代知识截面”的语言模型。

截至 2026 年 8 月 24 日，Bart 已在 Hugging Face 提供名为 jbduran/bart-sft 的模型页面。项目团队同时在 Reddit 机器学习社区 公布了训练成本、语料年代和研究动机，但尚未在公开帖中给出足以与主流模型横向比较的完整标准跑分。

Bart 的核心不是“小”，而是知识截止线足够硬

**Bart 最值得关注的设计，是把知识截止日期从产品说明变成了训练数据约束。**普通聊天模型即使声称知识截止于某个时间，也可能在微调、偏好优化、评测题库甚至合成数据中接触更晚的信息；Bart 则试图从预训练语料这一层就排除 1931 年及之后的英语材料。

**时间截断训练是指只使用某个日期之前产生的资料训练模型，以研究模型在有限历史知识条件下能够推导出什么。**按照团队的口径，Bart 使用的是“written before 1931”的英语文本，更准确地说是 1930 年及以前写成的内容，而不是简单地让现代模型扮演一位 1931 年的人。

这两者的差别很大。给现代模型加一句“请以 1930 年科学家的身份回答”，只能约束输出语气，不能删除参数里关于核裂变、DNA 双螺旋、晶体管和现代宇宙学的知识；Bart 的目标则是让这些未来信息尽可能从训练阶段就不存在。

| 项目 | Bart | 现代模型加历史角色提示 | 历史文献 RAG | |---|---|---|---| | 核心方法 | 用 1931 年前英语语料从零训练 | 用提示词限制现代模型的表达方式 | 检索历史资料后交给现代模型回答 | | 参数中的现代知识 | 理论上显著减少 | 仍然存在 | 仍然存在 | | 历史语体 | 从语料中自然学习 | 容易流于模仿 | 取决于检索材料与提示词 | | 适合研究的问题 | 有限知识下能否独立推导新结论 | 历史角色扮演、内容创作 | 文献查询、档案问答 | | 最大风险 | 年代标注错误、OCR 污染、后训练泄漏 | 模型“剧透”未来知识 | 检索结果越界或模型自行补全 | | 可控性 | 数据层控制，成本最高 | 提示层控制，成本最低 | 文档层控制，效果居中 |

**Bart 因此更像一套实验装置，而不是一位更便宜的通用助手。**它未必比同尺寸的现代模型更会写代码、更擅长遵循复杂指令，也很难覆盖当代开发者所需的技术知识，但它能用于普通聊天模型难以完成的“历史盲测”。

20.1B token 喂给 2.82B 参数，规模并不奢侈

**Bart 的预训练规模为 2.82B 参数和 20.1B 英文 token，平均每个参数对应约 7.13 个 token。**这个比例通过 20.1 ÷ 2.82 得到，只能用于粗略观察训练规模，因为团队公开表述没有完全说明 20.1B 是去重后的语料容量，还是训练过程实际消费的 token 总量，也没有在 Reddit 摘要中披露是否进行了多轮重复训练。

| 指标 | Bart 已公开信息 | 解读 | |---|---:|---| | 参数量 | 2.82B | 属于可在消费级硬件上探索部署的小型模型区间 | | 训练文本 | 1931 年以前的英语 | 知识边界比普通模型更重要 | | 训练 token | 20.1B | 约为参数量的 7.13 倍 | | 开发周期 | 约 3 个月 | 包括语料处理、实验、训练和后训练 | | 团队披露支出 | 约 800 美元 | 平均约 39.8 美元/十亿训练 token，但不能等同于完整成本 | | 训练方式 | 从零训练 | 不是拿现代基础模型继续微调 | | 权重状态 | Hugging Face 已提供模型页面 | 更稳妥的表述是“开放权重”，具体使用边界应以仓库许可证为准 |

**从零训练是指模型参数并非继承自一个已经掌握现代知识的基础模型，而是从随机初始化开始学习目标语料。**这一步对 Bart 至关重要：如果团队直接在 Llama、Qwen 或 Mistral 一类现代底座上微调，模型参数中的当代知识不会被真正擦除，所谓“复古”就只剩风格迁移。

**800 美元是一个吸睛的数字，但它不代表 Bart 的完整研发成本。**如果把 800 美元全部视为训练与实验的直接算力支出，折算下来约为每十亿 token 39.8 美元；然而数据收集、OCR 清理、年代核验、失败实验和 3 个月的人力都没有被这个数字充分体现。

**低成本也不意味着其他团队可以按 800 美元原样复现。**云端实例折扣、硬件型号、训练精度、并行方式、检查点频率和失败重跑次数都会改变账单，而历史语料的获取与清洗往往比真正按下训练按钮更费时间。

真正难的工作，是证明语料没有从未来穿越回来

**历史模型最棘手的技术问题不是参数量，而是时间污染。**一本书可能写于 1890 年，却使用 1970 年的再版序言；一份 1920 年的报纸扫描件可能附带现代馆藏说明；数字图书馆的 OCR 文本还可能混入网页导航、版权页、编辑注释和自动生成的元数据。

**数据污染是指训练集混入不应出现的内容，从而让模型在评测中获得未经允许的信息。**对普通模型而言，污染常常表现为测试题泄漏；对 Bart 而言，只要一小段现代百科说明混入语料，就可能让模型知道本应属于“未来”的科学发现。

年代清洗至少需要处理以下几类问题：

1. **写作年代与数字化年代不同。**现代扫描时间不能作为文本创作时间，反过来也不能因为原作年代早，就忽略新版前言和脚注。
2. **原著与译本年代不同。**古代作品的现代英语译本会带入当代词汇、解释框架和后见之明。
3. **期刊合订本存在跨期元数据。**数据库目录、索引和馆藏说明可能比正文晚数十年。
4. **OCR 会制造伪词。**历史字体、分栏排版、连字符和纸张污损都会让识别结果偏离原文。
5. **后训练可能重新引入现代知识。**即使预训练集严格截止于 1930 年，只要监督微调数据由现代模型生成，Bart 仍可能学到现代事实和表达习惯。

**后训练泄漏尤其值得警惕，因为 Hugging Face 上公开的是 bart-sft 检查点。**SFT 是监督微调，即使用指令与回答样本把基础模型调整成更会对话的模型；如果这些样本没有遵循同样的年代限制，最终聊天版本的历史纯度就会低于基础预训练模型。

项目团队表示，其完整技术记录覆盖了语料来源与清洗、自建基准、消融实验、训练过程、后训练和失败经验。这个方向是对的，因为 Bart 的可信度不能只靠一句“数据来自 1931 年前”建立，而要靠可审计的数据处理流程和能主动寻找泄漏的测试集建立。

为什么现成跑分不够用

**主流大模型评测无法直接回答 Bart 是否成功，因为 MMLU、代码题和现代常识题本身就包含大量 1931 年后的概念。**让 Bart 回答互联网协议、半导体工程或现代医学，不是在测试推理能力，而是在检查它是否见过不该见的知识。

一个有效的复古模型基准至少需要分成三层：

• **历史已知题：**答案在 1931 年前已经公开，用于确认模型是否真正吸收了同期知识。
• **未来事实题：**答案在 1931 年后才出现，用于检查模型会不会意外“剧透”。
• **可推导未知题：**结论在 1931 年前尚未发表，但理论前提和观测材料已经存在，用于测试模型能否组合已有知识得到新结论。

**第三类题才是 Bart 研究价值的核心，也是最难设计的一类。**题目必须证明所有必要前提在截止日期前已经存在，同时还要排除训练集中出现过等价结论的可能；否则模型答对了，也无法区分它是在推理、记忆冷门材料，还是碰巧生成了正确文本。

**“让模型重新发现科学理论”目前仍是研究问题，而不是 Bart 已经完成的成果。**团队提到了 Demis Hassabis 曾讨论过的设想：限制模型接触后世知识，观察它能否走到历史上伟大科学家得出的结论；但团队也坦言，广义相对论级别的实验超出了本次预算。

这个边界需要说清楚。Bart 的发布证明了小团队可以低成本构建一个时间受限模型，却没有证明 2.82B 参数模型已经能够独立重建重大科学理论，更不能据此断言下一词预测已经等同于原创发现。

它更适合研究，不适合替代日常助手

**Bart 对 AI 研究者、数字人文学者和历史教育产品更有价值，对普通开发者的直接生产力价值则有限。**它可以被用于分析不同时期的语言分布、测试历史角色的一致性、构建互动式档案体验，也可以充当现代模型的对照组。

几个相对靠谱的使用场景包括：

• 观察模型在缺少现代术语时如何描述物理、医学和社会问题；
• 比较历史语料训练与现代模型角色扮演之间的语言差异；
• 测试某项科学结论能否由当时已知前提推导出来；
• 研究 OCR 噪声、语料年代和模型行为之间的关系；
• 为博物馆、历史游戏或数字档案生成时代一致性更高的交互文本。

**Bart 不适合直接承担现代事实问答、软件开发和高风险决策。**1931 年前的医学、安全规范和社会观念大量过时，模型还可能复现历史语料中的种族、性别与阶层偏见；“符合时代”在研究上是特性，在真实产品中却可能是明显风险。

**模型输出也不能被当作真实历史引文。**语言模型会生成看似符合年代、实际上并不存在的句子，因此研究人员仍需回到原始文献核验来源，尤其不能用 Bart 自动生成的内容替代史料引用。

Bart 的意义，是把“模型到底会不会发现”变成可测试问题

**Bart 最有价值的地方，是给“模型究竟在记忆还是推理”提供了一种比聊天观察更严格的实验框架。**现代大模型训练集覆盖面太广，研究者很难证明一个答案来自现场推导而非隐蔽记忆；通过人为建立时间边界，至少可以缩小可能的信息来源。

**这套方法依然不能彻底区分记忆、归纳和原创，因为历史语料本身可能已经包含零散线索甚至相近猜想。**但相比询问一个读过整个互联网的模型“你能否独立发现某条定律”，Bart 这种数据受控的模型显然更接近可证伪实验。

**2.82B 参数也让后续审计和复现实验更现实。**超大闭源模型的训练数据、权重和后训练过程不可见，很难进行神经元分析、数据归因或严格消融；Bart 尺寸较小且已提供权重，更适合研究团队测试知识定位、遗忘、年代分类和提示敏感性。

不过，开放权重不自动等于完整开源。研究者仍需要检查模型页面中的许可证、基础检查点、Tokenizer、训练脚本、数据清单和评测集是否齐全；只有权重可下载，并不足以完整复现“1931 年知识边界”。

判断：这是一次比榜单更有意思的小模型实验

**Bart 不是性能竞赛里的挑战者，而是一款目标明确的研究型模型。**它的 2.82B 参数、20.1B token 和约 800 美元直接支出都不算惊人，真正稀缺的是围绕历史截止线设计语料、基准和污染检测的完整思路。

**现阶段不应把 Bart 包装成已经会“重新发明科学”的系统。**公开材料尚未提供足以证明重大原创推导的结果，标准性能指标也不完整；它首先是一个值得继续验证的实验平台，而不是关于机器创造力的最终答案。

**如果团队后续公开基础模型、清洗清单、年代判定规则和可复现基准，Bart 的影响会超过模型本身。**它可能催生一批按年份、学科和地域切分的“时间胶囊模型”，让研究者更精确地追踪知识如何进入参数，以及模型能否在没有答案剧透的前提下完成推导。

在所有人都忙着给模型塞入更多新数据时，Bart 反过来问了一个更难的问题：如果刻意拿走过去 95 年的知识，模型还能自己走多远？这比再多一个聊天机器人，更值得观察。

参考来源

• Reddit：Bart - A vintage LLM：项目发布帖，披露 2.82B 参数、20.1B token、约 3 个月开发周期和约 800 美元支出。
• Hugging Face：jbduran/bart-sft：Bart 监督微调版本的模型页面，用于查看权重、配置与许可证等最新信息。