Raschka开课：从零造推理模型

Sebastian Raschka 最近推出了《Build a Reasoning Model From Scratch》视频课程，用约 87 分钟演示如何把一个常规大语言模型改造成能够输出长推理过程、接受可验证奖励训练的推理模型。截至 2026 年 10 月 26 日，这套课程已经覆盖环境搭建、Qwen3 权重加载、文本生成、答案验证以及强化学习所需的关键组件。

这套内容最有价值的地方，不是再讲一遍 Transformer，而是把推理模型最容易被营销话术遮住的部分摊开来看：所谓“会推理”，并不意味着模型突然获得了某种神秘能力，而是训练数据、输出格式、验证器、奖励信号和推理预算共同作用的结果。

这不是从随机权重开始训练一个模型

“从零构建推理模型”是指从代码层面实现推理后训练流程，而不是从随机初始化开始预训练一个基础模型。课程采用已有预训练权重的 Qwen3 作为起点，再补齐生成、答案抽取、结果验证和强化学习训练等模块。

这个边界非常重要。从随机权重训练一个具备基本语言能力的模型，需要分词器、海量语料、分布式预训练基础设施和大量算力；把一个已经会说话、会写代码、会解简单数学题的模型进一步训练成推理模型，则更接近一项可在个人或小型团队环境中理解和复现的后训练工程。

Raschka 的“from scratch”一贯不是“不使用任何现成组件”，而是“不把关键机制藏在高级训练框架后面”。开发者仍然可以使用 Python、PyTorch、模型权重和基础依赖，但需要亲手看清数据怎样进入模型、输出怎样被解析、答案怎样获得奖励，以及奖励怎样反向影响参数。

换句话说，这门课不是教你制造发动机里的每一块金属，而是把变速箱、传动轴和控制系统拆开，让你明白一台普通发动机为什么能被调成赛车。

推理模型到底是什么

推理模型是一类经过专门后训练、能够在回答前生成较长中间步骤，并通过增加测试时计算改善复杂任务表现的大语言模型。它与普通聊天模型通常共享 Transformer、自回归生成和 next-token prediction 等基础结构，差异主要出现在训练目标、数据组织、奖励机制和推理策略上。

普通指令模型更像“看到问题后尽快给答案”，推理模型则被鼓励先展开若干中间步骤，再提交最终结果。在数学、代码和逻辑任务中，中间过程可以用于搜索候选解、发现矛盾、回退重试或检查结果。

推理时扩展是通过增加模型回答阶段的计算预算来提升任务表现的方法。最直观的做法包括允许模型生成更多 token、对同一道题采样多条推理轨迹，或者使用验证器从多个答案中选择更可靠的一个。

这也解释了为什么推理模型通常更慢、更贵。它未必拥有完全不同的基础架构，只是在一次请求中“想得更久”，用更多生成 token 和更多候选路径换取较高的复杂任务成功率。

课程的核心不是生成，而是验证

验证器是一个判断模型答案是否满足预期条件的程序或模型。在数学题等答案可自动检查的任务中，验证器会从模型输出中抽取最终答案、标准化表达形式，再与参考结果比较并返回正确或错误的信号。

Raschka 在系列第 3 个视频中专门实现验证器，并明确表示，这套验证逻辑既用于数学基准评估，也会在后续“可验证奖励强化学习”中复用。该视频于 2026 年 9 月 13 日发布，参考页面记录的播放量为 18,230 次。

验证器看上去只是“对答案”，实际却是整个系统最容易出错的部分。模型可能输出 42、\boxed{42}、42.0 或一段包含多个数字的解释；如果抽取规则不稳健，一个正确答案可能被误判为错误，一个碰巧包含目标数字的错误过程也可能被误判为正确。

验证器的质量决定了奖励信号的质量。如果判分程序存在漏洞，强化学习不会主动替人类修复漏洞，反而会迅速学会利用它，这就是常说的 reward hacking，也就是奖励投机。

这门课把大量篇幅放在答案抽取与验证上，是一个正确的取舍。很多教程会直接调用训练框架、给出一条最终 reward 曲线，却跳过最关键的问题：这个 reward 到底是否可信。Raschka 的路线更像真实工程，因为生产训练中最费时间的部分往往不是写出损失函数，而是处理模型千奇百怪的输出。

RLVR让数学题成为低成本训练场

RLVR 是 Reinforcement Learning with Verifiable Rewards 的缩写，中文通常称为“可验证奖励强化学习”。它利用能够自动判定的任务结果作为奖励，让模型在不依赖逐条人工偏好标注的情况下优化解题策略。

数学题适合 RLVR，不是因为数学最能代表通用智能，而是因为答案相对容易核验。例如一道题的标准答案是 17，验证器可以判断模型最后是否提交 17，再把结果映射为奖励；代码任务则可以通过单元测试、编译结果或沙箱执行来判断。

RLVR 的基本闭环可以概括为：

1. 从训练集中取出一个问题；
2. 让模型采样一条或多条推理轨迹；
3. 从输出中提取最终答案；
4. 使用验证器判断答案是否正确；
5. 将结果转换为奖励；
6. 使用策略优化方法更新模型；
7. 在保留集上检查能力是否提升，以及输出是否出现奖励投机。

这个闭环看似简单，但每一步都有工程陷阱。采样温度过低，模型探索不到新策略；温度过高，输出又会变得不稳定。奖励只看最终答案，模型可能通过错误过程碰巧命中；奖励过分约束格式，又可能让模型把精力花在迎合模板上。

因此，RLVR 并不等于“有答案就能自动训出推理能力”。它更准确的定位，是把适合机器判分的任务转化为规模化训练信号，而训练结果仍然取决于基础模型能力、题目分布、采样策略、验证器可靠性以及优化算法。

87分钟课程与1.5小时概念课不是同一套内容

Raschka 在 2026 年还发布了一门约 1.5 小时的 LinkedIn Learning 课程，两套内容的定位并不相同。后者包含 4 个主要章节、约 30 个短视频、互动测验和代码示例，重点是解释推理模型、推理时扩展、蒸馏与强化学习之间的关系；这次的 from-scratch 系列则更偏代码实现和工程拆解。

| 内容 | From-scratch 视频系列 | LinkedIn Learning 概念课 | 完整书籍式学习 | |---|---|---|---| | 时长 | 约 87 分钟 | 约 1.5 小时 | 通常需要数天至数周 | | 核心目标 | 看懂并实现关键训练组件 | 建立推理模型知识框架 | 系统掌握模型与训练细节 | | 代码深度 | 较高，强调实现过程 | 中等，以概念和示例为主 | 最高，适合逐章复现 | | 主要内容 | Qwen3 加载、生成、验证器、RLVR 链路 | 推理模型、推理时扩展、蒸馏、强化学习 | 数据、训练、评估与工程细节 | | 适合人群 | 熟悉 Python、PyTorch 的开发者 | 产品经理、研究新人、技术决策者 | 希望长期从事模型训练的人 | | 最大优势 | 能看到训练闭环怎样拼起来 | 时间成本低、覆盖面完整 | 细节充分，可作为长期参考 | | 主要局限 | 不等于完成生产级训练 | 无法替代动手实现 | 学习和算力投入更高 |

这两门课可以连续学习，但不能互相替代。概念课回答的是“推理模型有哪些组成部分”，from-scratch 系列回答的是“这些组成部分落到代码里是什么样子”。

课程选择Qwen3是务实决定

Qwen3 是阿里云通义千问团队发布的一代开源权重语言模型系列，覆盖多种参数规模，并支持常规回答和复杂推理场景。Raschka 在课程中加载 Qwen3 预训练权重，避免把有限时长消耗在从头预训练语言能力上。

选择 Qwen3 的优势在于模型权重可获得、生态较完整，而且开发者可以在本地或自有计算环境中检查中间结果。相比只能访问远程接口的闭源模型，开放权重模型更适合解释参数更新、生成循环和后训练过程。

不过，使用 Qwen3 并不意味着课程在“复刻 Qwen3 的官方训练配方”。课程展示的是一条教育用途的最小可理解路径，目标是帮助学习者掌握机制，而不是承诺用 87 分钟和一台普通电脑复制前沿实验室的最终性能。

这一点也决定了课程的合理预期：学完以后，开发者应该能解释验证器为什么必要、RLVR 如何获得奖励、推理时扩展为什么增加成本；但不能因此宣称自己训练出了可与主流商业推理模型竞争的系统。

它比调用训练框架更值得看

这套课程对已经会使用 Transformers、TRL 或其他后训练框架的开发者仍然有价值。高级框架可以用少量配置启动训练，却也容易把奖励计算、mask 处理、采样逻辑和策略更新变成黑盒。

当训练结果异常时，黑盒会直接转化为排障成本。模型不收敛究竟是数据格式错了、答案没有正确抽取、奖励全为零、生成被截断，还是优化器参数不合适？如果没有亲手走过一次最小实现，开发者往往只能反复修改超参数碰运气。

Raschka 的课程更像一张可执行的系统剖面图。它不一定提供最省代码的方案，却能让学习者知道成熟框架替自己完成了哪些工作，这种理解对于调试训练管线比记住某个库的参数名称更持久。

课程没有证明“推理能力已经解决”

课程目前最明显的限制，是没有公开一组足以证明性能增益的完整实验数据。参考资料没有给出训练前后在同一数学基准上的准确率、平均输出 token、训练成本、显存占用和推理延迟，因此不能用“性能提升多少”来评价最终效果。

缺少这些数字并不是教学内容失效，而是提醒读者区分“机制教程”和“模型发布”。机制教程的成功标准是让人理解并复现训练闭环；模型发布的成功标准则应包括基准测试、消融实验、成本数据和可重复的权重或训练记录。

推理长度也不能直接等同于推理质量。模型输出 2,000 个 token，不代表它比输出 200 个 token 更聪明；冗长、自我重复和无效回退都可能增加账单，却不提高正确率。真正有意义的指标应该同时观察准确率、单位正确答案的 token 消耗、推理延迟和失败类型。

| 评估维度 | 应关注的指标 | 常见误区 | |---|---|---| | 正确性 | 数学或代码基准准确率 | 只展示少数成功案例 | | 计算成本 | 平均生成 token、GPU 时间 | 把更长输出当成更强推理 | | 稳定性 | 多次采样的方差 | 只报告最好的一次结果 | | 验证质量 | 误判率、解析失败率 | 默认规则验证器绝对正确 | | 泛化能力 | 训练分布外任务表现 | 只测试训练题型 | | 输出质量 | 步骤一致性、最终答案格式 | 只检查最后一个数字 |

谁最适合花这87分钟

这套课程最适合已经掌握 Python、了解 PyTorch 张量和基本 LLM 生成流程，但没有亲手做过强化学习后训练的开发者。它的门槛不是数学推导，而是愿意跟踪数据在各组件之间怎样流动。

以下几类读者会得到更直接的收益：

• 正在使用开源模型做数学、代码或结构化任务后训练的工程师；
• 想从监督微调进一步理解 RLVR 的开发者；
• 已经会调用训练框架，但不清楚 verifier 和 reward 如何实现的人；
• 需要评估“推理模型”产品方案是否靠谱的技术负责人；
• 准备阅读 GRPO、PPO、过程奖励或推理时搜索论文的研究新人。

完全没有机器学习基础的读者则不适合把它当作第一门课。课程节奏较快，并默认学习者理解预训练权重、token 生成、损失函数和强化学习奖励等概念；如果连自回归生成尚不熟悉，先补齐基础 LLM 结构会更高效。

Raschka真正教的是如何拆掉黑盒

Raschka 这套课程的意义，不在于又多了一个“手搓大模型”的标题，而在于它把普通 LLM 到推理模型之间的灰色地带具体化了。推理能力不是单一开关，验证器也不是附属脚本，它们共同构成了后训练系统。

在 2026 年的模型竞争中，基础架构的差异正在缩小，真正拉开体验差距的往往是训练数据、推理预算、奖励设计和评估系统。对开发者而言，理解这些环节比背诵某个模型的榜单名次更有长期价值。

最终判断很明确：这是一套值得模型工程师花一个午休时间观看的课程，但它应该被视为推理后训练的入口，而不是生产配方。它能帮你看懂发动机如何运转，却不会替你解决数据质量、算力预算、训练稳定性和真实业务评估。

参考来源

• rasbt/LLMs-from-scratch：Sebastian Raschka 的官方开源代码仓库，可用于了解其从底层实现 LLM 的代码风格、章节结构和配套资源。
• Qwen 官方模型主页：Qwen 团队在 Hugging Face 发布的模型、权重与说明页面，可核对 Qwen3 系列及相关开放模型信息。