Karpathy 加入 Anthropic 预训练团队

5 月 19 日，Andrej Karpathy 在 X 上宣布加入 Anthropic，职位是预训练团队成员。这个消息来得突然——上周他还在自己的博客更新《2025 LLM 年回顾》，讨论预训练、监督微调和 RLHF 的技术演进，没人想到他这么快就要亲自下场做预训练了。

为什么是 Anthropic

Karpathy 的履历在 AI 圈几乎是传奇级别的。2015 年斯坦福博士毕业后直接加入 OpenAI，参与了早期 GPT 系列的研发；2017 年跳槽特斯拉担任 AI 总监，带领 Autopilot 视觉团队把端到端神经网络开进了量产车；2022 年离开特斯拉后短暂回归 OpenAI，但只待了几个月就再次离开，之后一直处于独立状态，做教育项目、写博客、录播客。

这次选择 Anthropic 而不是回 OpenAI，背后的逻辑其实很清晰。OpenAI 现在的重心是产品化和商业化，GPT-4 之后的迭代更多是在对齐、安全性、多模态能力上做文章，预训练本身已经不是核心战场。而 Anthropic 还在打基础模型的硬仗——Claude 3.5 Opus 的预训练规模、Constitutional AI 的对齐方法、长上下文窗口的技术路线，都需要在预训练层面做深度优化。

对 Karpathy 来说，这是个更纯粹的技术挑战。他在特斯拉做的是工程化落地，在 OpenAI 做的是早期探索，现在到 Anthropic 做预训练，正好是在一个已经验证了技术路线、但还没到天花板的阶段切入。这个时间点，预训练团队的每个决策都会直接影响下一代模型的能力上限。

Anthropic 的联创优势

这次加盟让 Anthropic 成为一个特殊的存在：所有顶级 AI 实验室里，只有它的联创团队还是完整的。OpenAI 的 Ilya Sutskever、Greg Brockman 已经离开，DeepMind 的联创也各奔东西，xAI 和 Mistral 都是新成立的公司，联创团队还在磨合期。

Anthropicの联创阵容本来就强：Dario Amodei 和 Daniela Amodei 兄妹是 OpenAI 的前研究副总裁和前副总裁，Tom Brown 是 GPT-3 论文的一作，Chris Olah 是可解释性研究的开创者，Jared Kaplan 是 Scaling Laws 论文的核心作者。现在再加上 Karpathy，这个团队在预训练、对齐、可解释性三个方向上都有顶尖专家坐镇。

更关键的是，Anthropic 的技术路线和 Karpathy 的研究方向高度契合。他在特斯拉做的端到端视觉系统，本质上就是用大规模数据训练一个通用的感知模型，然后通过微调和对齐让它适应具体的驾驶场景。这套思路放到 LLM 上，就是先做好预训练的 base model,再通过 Constitutional AI 这样的方法做对齐。Karpathy 在博客里提到的「预训练类似于 2020 年的 GPT-2/3」，说的就是这个阶段的重要性——base model 的质量决定了后续所有工作的上限。

预训练还有多少空间

外界可能会问：预训练不是已经卷到头了吗？GPT-4、Claude 3.5、Gemini 1.5 都已经是千亿参数级别，继续堆算力和数据还能带来多大提升?

但实际上预训练远没到瓶颈。Scaling Laws 告诉我们，模型性能和计算量、数据量、参数量之间存在幂律关系,这个关系在当前的规模下依然成立。问题在于,简单地堆资源已经不够了,需要在数据质量、训练效率、架构优化上做更精细的工作。

比如数据侧,现在的预训练数据集已经把互联网上的高质量文本用得差不多了,接下来要么是合成数据(用模型生成训练数据),要么是多模态数据(图像、视频、音频),要么是代码和推理数据。每种数据的配比、清洗方法、tokenization 策略都会影响最终效果。

再比如训练效率,现在的大模型训练动辄几个月,中间任何一个环节出问题都可能导致整个训练失败。如何做 checkpoint、如何处理数据倾斜、如何在分布式训练中保持数值稳定性,这些工程问题直接决定了能不能把模型训练出来。Karpathy 在特斯拉做 Autopilot 时积累的大规模训练经验,在这里会非常有用。

还有架构层面,Transformer 已经统治了好几年,但它在长上下文、推理能力、多模态融合上都有明显短板。Anthropic 的 Claude 系列一直在长上下文上做文章,从 100K 到 200K 再到现在的 1M token,这背后需要在注意力机制、位置编码、KV cache 管理上做大量优化。这些优化很多都要在预训练阶段就考虑进去,不是后期微调能解决的。

对行业的影响

Karpathy 加入 Anthropic,最直接的影响是加速了 Claude 下一代模型的研发进度。Anthropic 现在的节奏是每半年发布一个大版本(Claude 3 是去年 11 月,Claude 3.5 是今年 5 月),如果预训练团队能在效率和质量上都有提升,这个节奏可能会进一步加快。

更深层的影响是,这会推动整个行业在预训练技术上的竞争。OpenAI、Google、Meta 都会意识到,基础模型的能力上限还远没到,预训练依然是核心战场。接下来可能会看到更多关于预训练方法的论文、更多关于 Scaling Laws 的研究、更多关于数据工程的讨论。

对开发者来说,这意味着未来一两年内,闭源模型的能力还会有显著提升。Claude 4(或者不管叫什么)很可能会在推理能力、长上下文理解、多模态融合上带来新的突破。这些能力的提升会直接影响到 AI 应用的天花板——现在做不了的事情,可能明年就能做了。

技术路线的分化

有意思的是,Karpathy 选择 Anthropic 的同时,其他顶级研究者也在做不同的选择。Ilya Sutskever 离开 OpenAI 后创立了 Safe Superintelligence Inc.,专注于对齐和安全性;Noam Shazeer 回到 Google 继续做 Gemini;Yann LeCun 还在 Meta 推动开源模型。

这种分化反映了 AI 研究的不同阶段和不同优先级。有人认为当前最重要的是把基础模型做到极致,有人认为应该优先解决对齐和安全问题,有人认为开源才是正道。Karpathy 选择预训练,说明他认为现阶段最大的瓶颈还是模型能力本身,而不是对齐或者开源。

这个判断可能是对的。虽然 GPT-4 和 Claude 3.5 已经很强,但在复杂推理、长期规划、多步骤任务上依然有明显短板。这些能力的提升,很大程度上依赖于预训练阶段学到的知识和模式。如果 base model 本身就不具备这些能力,后期再怎么微调和对齐也补不回来。

写在最后

Karpathy 加入 Anthropic,对他个人来说是回到了最熟悉的战场,对 Anthropic 来说是补齐了预训练团队的最后一块拼图,对整个行业来说是预训练竞赛进入新阶段的信号。

接下来几个月,可能会看到 Anthropic 在预训练方法上的新论文、新技术、新突破。也可能会看到 Claude 4 的早期测试版本,带来一些让人眼前一亮的新能力。

对开发者来说,现在是个好时机——基础模型还在快速进化,应用层的想象空间还很大,各家 API 的价格还在持续下降。OpenAI Hub 这样的聚合平台已经支持 Claude 全系列模型,一个 Key 就能调用,国内直连,不用担心网络问题。

预训练的战争还没结束,甚至可能才刚刚开始。