单张 GPU 从零训练 210M 文生图 DiT：3.5 天训练的关键测量与复现经验

一位研究者近日公开了一次相当“反工业化”的实验：不用数十张 H100，也不依赖现成扩散模型蒸馏，而是从零训练一个 2.1 亿参数的文生图 DiT。整个实验使用单张 RTX PRO 6000，训练 3.5 天，处理约 420 万张 256×256 图像，最终在留出集上的 FID 从 33.7 降到 27.0，FD-DINOv2 从 570 降到 218。

这项工作的价值不在于它已经达到商用文生图模型的效果，而在于作者把训练过程中通常被日志掩盖的现象测了出来：跨注意力到底在看什么，哪些 token 正在吸走注意力，训练损失下降是否真的意味着样本质量变好，以及一张消费级或工作站级 GPU 能不能完成一个小型文生图系统的端到端复现。

本文基于作者在 Reddit 发布的实验记录整理。截至 2026 年 9 月 11 日，原帖公开信息仍主要集中在前两项测量和训练配置，部分样本、完整代码及更多指标并未全部披露。文中对复现流程的建议，明确区分了作者实测结果与编辑根据这些结果给出的工程判断。

先说结论：小模型能训，但“能跑通”不等于“好用”

这次实验证明，单张 GPU 可以从零训练一个规模约 210M 参数、支持文本条件的像素空间或低压缩图像生成 DiT，但它距离工业级文生图产品仍有明显差距。

它最有用的地方，是给出了一个相对可控的实验下限：如果目标是理解 DiT 的数据管线、文本条件注入、流匹配目标、采样过程和评估指标，4.2M 张 256² 图像、单卡 3.5 天已经足以让系统出现可测量的生成能力。对于个人研究者和小团队，这比直接复现 SD3、FLUX 或 DALL·E 级别的多阶段训练现实得多。

但如果目标是得到可商用的构图、文字渲染和复杂提示词遵循能力，210M 参数与 256² 分辨率仍然偏小。文生图模型的难点不只在 Transformer 参数量，还在数据清洗、文本标注、长尾概念覆盖、采样器、分辨率训练和后续偏好优化。单卡实验降低了入场门槛，却没有消除这些成本。

| 项目 | 本次实验公开信息 | 对复现的意义 | |---|---:|---| | 模型类型 | 文生图 DiT | 研究重点是 Transformer 式扩散模型，而非 U-Net | | 参数量 | 约 210M | 适合单机研究，不代表商用质量规模 | | GPU | 1 张 RTX PRO 6000 | 证明训练可以在单卡条件下完成 | | 训练时长 | 约 3.5 天 | 包含从零训练，而非微调现成模型 | | 训练图像 | 约 4.2M 张 | 数据规模接近一次中等规模视觉预训练实验 | | 训练分辨率 | 256×256 | 显著降低注意力计算和显存压力 | | FID | 33.7 → 27.0 | 留出集生成分布质量改善 | | FD-DINOv2 | 570 → 218 | 语义特征分布距离改善明显 | | 流匹配损失 | 0.805 → 0.754 | 下降幅度有限，不能单独代表视觉质量 |

第一个关键发现：可学习的 null slot 成了注意力“下水道”

可学习 null slot 是一种不对应真实文字内容、但允许模型自行写入信息的注意力槽位。它们的作用类似 Transformer 里的“寄存器”：模型可以把不方便放回图像 token 或文本 token 的全局统计、噪声状态和控制信号，暂时放在这些槽位里。

作者在图像流中加入了 16 个 register token，并在每一层交叉注意力中额外追加 2 个可学习的 key/value slot。测量结果显示，在中等噪声水平、一个中间层的 cross-attention 中，这两个 slot 合计吸收了约 90% 的交叉注意力质量；EOS token 只剩约 4%，具体内容词则各自保留几个百分点，而且注意力会明显落到它们对应的物体上。

这个结果相当反直觉。传统分析经常把 EOS 看成文本条件中的“注意力汇”，因为句子末尾的 EOS token 会在跨注意力里吸收大量权重。但在这套结构里，模型获得了专门的空槽之后，EOS 不再承担主要的全局聚合任务，真正的注意力汇变成了两个没有语义词面、却可以被训练的 null slot。

更值得关注的是寄存器向量的尺度。作者观察到，中间层里的 register 向量范数约为图像 token 的 4 到 13 倍。向量范数不能直接等同于信息量，也不能简单解释成“寄存器更重要”，但它至少说明这些 token 并非装饰结构，而是被模型当成了高强度的内部工作区。

可以把它类比成一场会议：图像 patch 是各个业务代表，文本 token 是议程，null slot 则是白板。模型不一定把所有结论写回某个具体 patch，而是先把全局状态写在白板上，再让后续层读取。没有这块白板时，EOS 可能被迫承担类似职责；加入可学习槽位后，信息流出现了更明确的“缓存位置”。

这对 DiT 结构设计意味着什么

第一，交叉注意力权重不能只按“看了哪个词”来解读。一个模型可能在表面上把大部分权重放到了 null slot，但仍然通过少量、尖锐的内容词注意力来锁定“狗”“红色汽车”或“站在桥上”等关键实体。

第二，注意力质量和语义贡献不是同一个概念。null slot 吸收 90% 的质量，并不意味着文本条件失效；它可能承担全局调制、噪声相关信息或条件聚合，而内容词的几个百分点注意力可能直接决定对象布局。

第三，寄存器 token 需要配合激活、范数和梯度监控。它们的范数达到图像 token 的 4 到 13 倍，如果继续增长，可能出现表示空间被少数槽位占据的风险。复现时不能只看 loss，还应记录不同 token 类型的注意力质量、向量范数、梯度范数和跨层变化。

建议至少保存以下四类统计：

1. 每个 cross-attention 层中 null slot、EOS、内容 token 的注意力质量。
2. image token、register token 和 null slot 的 L2 范数分布。
3. 不同噪声时间步下的注意力变化，尤其是高噪声、中噪声和低噪声阶段。
4. 关键词对应 token 的注意力是否落在正确物体区域，而不是只观察总和。

第二个关键发现：流匹配损失是健康信号，不是质量信号

流匹配是一种直接学习从噪声状态流向数据状态的训练目标，它通常让模型预测某个时间步上的速度场，而不是像经典 DDPM 那样只预测噪声。简单说，模型学习的是“当前样本应该朝哪个方向移动、移动多快”。

作者的实验中，整个训练过程的 flow-matching loss 只从 0.805 降到 0.754，下降约 6.3%。但同期留出集 FID 从 33.7 降至 27.0，下降约 19.9%；FD-DINOv2 从 570 降至 218，下降约 61.8%。这组数字直接说明，损失曲线与生成质量曲线并不具有简单的线性关系。

| 指标 | 训练早期 | 训练后期 | 变化幅度 | |---|---:|---:|---:| | Flow-matching loss | 0.805 | 0.754 | 下降约 6.3% | | Held-out FID | 33.7 | 27.0 | 下降约 19.9% | | FD-DINOv2 | 570 | 218 | 下降约 61.8% |

FID 是 Fréchet Inception Distance，用于比较真实图像与生成图像在特征空间中的分布距离；数值越低，通常表示两者分布越接近。FD-DINOv2 则是在 DINOv2 特征空间中计算类似的分布距离，更偏向衡量视觉语义特征上的接近程度。

这两个指标走势比 loss 更陡，可能意味着模型早期主要在建立粗粒度视觉和语义结构：物体类别、颜色组合、构图分布逐渐成形，但速度场的平均回归误差变化并不大。对生成模型来说，少量关键区域的改善，就可能显著改变特征分布；而均匀摊在所有像素、时间步和样本上的回归损失，未必会同步反映这种改善。

因此，复现训练时不能把最低 loss 当成唯一保存检查点标准。更合理的做法是固定采样配置，每隔若干训练步生成一组相同 prompt 的样本，同时记录 FID、FD-DINOv2、提示词遵循指标和人工抽样结果。尤其需要固定随机种子、采样步数、 guidance 设置以及评估图像数量，否则不同 checkpoint 之间的比较会被采样噪声污染。

一套更现实的单卡复现流程

单卡复现的第一步不是直接启动训练，而是先把数据和评估闭环跑通。建议先用 1 万至 5 万张经过清洗的 256×256 图像完成过拟合测试，确认图像读取、文本编码、噪声采样、速度目标和反向传播没有错误，再扩大到百万级数据。

1. 先确定数据边界

训练图像数量约 420 万张，但“数量大”不等于“数据有效”。需要检查重复图、极端长宽比、损坏文件、低分辨率放大图、文本与图像不匹配样本，以及明显的水印和版权风险。对文生图来说，文本描述质量往往比单纯增加图片数量更关键。

复现者应当建立独立的留出集，并确保它不与训练集近重复。FID 和 FD-DINOv2 都会受到数据分布、图像预处理与样本数量影响，不能只抄一个数字就声称复现成功。

2. 把 256² 当作工程约束，而不是最终目标

256×256 分辨率将图像 token 数量、激活保存和注意力计算控制在单卡可承受范围内。对标准全局注意力而言，序列长度增加会快速推高计算量，因此先在低分辨率验证结构，是比一开始追求 512² 更稳妥的路线。

如果使用 patch 化输入，patch size 会直接决定 token 数量。patch 越大，训练越省显存，但细节损失也越明显；patch 越小，局部纹理更好，却会让 Transformer 的计算和显存压力迅速增加。复现时应把 patch size、层数、隐藏维度、注意力头数和文本上下文长度作为一个整体调参，而不是只盯着参数量。

3. 监控三条曲线，而不是一条曲线

第一条是 flow-matching loss，用来判断优化是否稳定；第二条是留出集分布指标，用来判断生成质量是否改善；第三条是固定 prompt 的可视化样本，用来判断模型是否出现模式坍塌、颜色漂移、物体错位和文本条件失效。

当 loss 下降但 FID 不动时，可能是模型只在拟合容易样本；当 FID 改善但 prompt 遵循变差时，可能是模型更会生成常见图像分布，却没有学好文本绑定；当样本看起来更锐利但 FD-DINOv2 变差时，也不能简单判断为训练成功，因为锐度和语义分布并不是同一件事。

4. 训练检查点必须支持可比评估

每个检查点都应使用同一批 prompt、同一随机种子集合、同一采样步数和同一评估图像数量。否则“后期样本更好”可能只是采样器设置变化带来的假象。

对于注意力分析，还要固定噪声时间步和具体 Transformer 层。作者给出的“中间层、中等噪声下两个 null slot 吸收约 90% cross-attention”是一个条件化测量，而不是所有层、所有时间步都必然如此。复现报告必须把层号、时间步、token 数量、归一化方式和聚合方法写清楚。

它与近期小型文生图路线的关系

这次单卡实验与 2026 年讨论较多的 MiniT2I、JiT 路线共享一个判断：小型文生图模型不一定需要照搬工业模型的全部复杂组件，但必须重新思考训练目标、数据规模和条件注入方式。

JiT 的核心思路是让模型直接预测清晰图像，而不是沿用传统噪声或速度预测范式，从而尝试在像素空间训练高分辨率 DiT。MiniT2I 则把视觉预训练与文本对齐拆成阶段，并强调使用语言模型产生的语义表示作为条件。相比之下，本次 210M DiT 实验更像一份“底层体检报告”：它不声称用最少组件达到最高分，而是把一个完整文生图训练系统拆开，观察内部到底发生了什么。

| 路线 | 主要目标 | 典型优势 | 主要限制 | |---|---|---|---| | 单卡 210M DiT | 验证端到端训练与内部机制 | 成本低、测量细、适合复现 | 分辨率和复杂语义能力有限 | | JiT 类方法 | 简化像素空间 DiT 训练目标 | 结构简洁，探索高分辨率训练 | 对数据与训练稳定性要求高 | | MiniT2I 类方法 | 用阶段化训练降低文生图门槛 | 更强调文本对齐和实用效果 | 仍需要高质量数据与额外微调 | | 工业级模型 | 追求综合生成质量 | 复杂提示词、细节和产品稳定性更强 | 训练成本和工程门槛极高 |

这也解释了为什么“单卡能训练”是一个重要但有限的结论。它降低的是研究验证成本，不是直接把工业级模型的算力需求压缩到一张卡上。

最值得复现的不是最终样本，而是测量方法

如果只能从这项工作里挑一个最值得带走的经验，应该是“先设计观测指标，再设计训练实验”。很多 DiT 训练项目最后只留下 loss 曲线和几张好看的样本，无法解释模型为什么有效，也无法判断一次改动究竟改善了什么。

这次实验至少提供了两个可迁移的研究问题：模型会不会把跨注意力集中到某些没有语义的槽位上，以及训练损失与视觉质量是否同步。前者关系到 Transformer 内部的信息路由，后者关系到扩散模型评估和检查点选择。无论模型是 210M 还是 2B，这两个问题都值得在自己的架构和数据上重新测量。

最终判断是：这不是一个“单卡打败 FLUX”的故事，而是一份对文生图训练成本和内部机制都足够诚实的工程记录。对于开发者，它提供了一条可执行的复现路径；对于研究者，它提醒我们不要把 attention map 当作语义解释的全部，也不要把单一训练损失当作生成质量的代名词。到了 2026 年，真正稀缺的已经不只是 GPU，而是能把训练过程测清楚、讲明白、复现出来的实验。

参考来源

1. Reddit：Training a 210M text-to-image DiT from scratch on one GPU —— 本次单卡训练实验的原始记录，包含模型规模、训练时长、数据量、null slot 注意力与评估指标。
2. 知乎：何恺明团队新作 JiT 解读与复现 —— 介绍 JiT 的像素空间 DiT 训练目标及其与传统扩散预测目标的差异。
3. 知乎：何恺明组新作：258M 参数就够了 —— 讨论 MiniT2I 及小规模文生图训练路线、数据阶段和评测结果。