小米开源0.8B文档模型

小米把文档解析、字段抽取和问答塞进了一个 0.8B 模型

小米在 10 月 30 日正式开源 Xiaomi-OCR-0，模型权重与推理代码已经同步上线 GitHub 和 Hugging Face。

**Xiaomi-OCR-0 是一个拥有 0.8B 参数、面向文档解析与 OCR 中心理解的统一视觉语言模型。**它不是传统意义上只负责把图片转成文字的 OCR 引擎，而是试图用一个模型覆盖文档解析、关键信息抽取和 OCR 视觉问答三条工作流。

这次发布真正值得关注的地方，是小米没有继续沿着更大参数规模堆模型，而是选择压缩任务链路。过去处理一张发票或一份 PDF，通常需要版面检测、文字识别、表格恢复、字段抽取和大模型问答等多个组件；Xiaomi-OCR-0 的目标，是把这些环节尽可能收进一个 0.8B 模型，并直接输出 Markdown、LaTeX 或 JSON。

这意味着它瞄准的并不只是 OCR 跑分，而是企业文档进入自动化流程之前最麻烦的那一段数据清洗工作。

三项能力对应三种真实工作流

**文档解析是把页面中的正文、标题、表格、公式和阅读顺序恢复成结构化内容的过程。**Xiaomi-OCR-0 可以读取整页文档，并输出结构化 Markdown；数学公式使用 LaTeX 表达，表格则先生成 OTSL 表示，再由后处理转换成 Markdown 内的 HTML 表格。

这一能力更适合论文归档、知识库入库、PDF 转 Markdown 和检索增强生成等场景。相比只返回文字坐标的传统 OCR，结构化解析保留了标题层级、表格关系与公式语义，后续系统不必重新猜测哪些文字属于同一行、哪个数字对应哪个表头。

**关键信息抽取是按照预先指定的字段，从文档中定位内容并返回结构化数据的任务。**开发者可以让 Xiaomi-OCR-0 从发票、收据、卡证或业务表单中提取日期、金额、编号、机构名称等字段，并以 JSON 形式输出。

字段抽取的价值在于缩短从文档到业务系统的距离。传统方案经常需要为每种票据单独编写模板，一旦版式调整、字段移动或者出现拍摄倾斜，规则就容易失效；视觉语言模型则可以依据字段语义寻找答案，对版面变化的容忍度通常更高。

**OCR 视觉问答是围绕图像中的文字、图表和版面关系直接回答问题的能力。**它不止可以回答页面上写了什么，还能进行跨区域检索、数值比较、简单计算和语义推理，例如从图表中找出增长最快的季度，或者结合表头与单元格计算两项数据的差值。

OCR 视觉问答让文档系统从转写工具变成了查询入口。对于财报、合同和复杂报表，用户不必先把整份文件解析完成再交给另一个大模型，而是可以直接针对页面提问；这也是 Xiaomi-OCR-0 与纯文字识别模型最明显的边界。

0.8B 的意义不是参数少，而是任务密度高

Xiaomi-OCR-0 基于 Qwen3.5-0.8B-Base 构建，并在约 1.7 亿条 OCR 与文档理解样本上训练。官方技术报告显示，这批数据覆盖正文、表格、公式、多语种文字、历史手写、古籍、屏幕翻拍和复杂光照等不同类型。

小模型的优势首先体现在部署弹性，而不是绝对能力上限。0.8B 只有 Qwen3.5-2B 参数量的 40%，比 8B 视觉语言模型少 90% 参数，更适合本地文档处理、批量离线任务和强调数据不出域的企业环境；但模型的实际显存占用、吞吐与延迟仍会受到精度、推理框架、图片分辨率和页面切分策略影响，不能仅凭参数量直接下结论。

从公开成绩看，这次小米做到了用任务专项训练弥补基础模型尺寸差距。在五项 OCR 中心视觉问答基准上，Xiaomi-OCR-0 平均得分 83.2，比同尺寸 Qwen3.5-0.8B 的 72.9 高 10.3 分，也比 Qwen3.5-2B 的 80.9 高 2.3 分。

| 模型 | 参数量 | DocVQA | InfoVQA | ChartQA | OCRBench | TextVQA | 平均分 | |---|---:|---:|---:|---:|---:|---:|---:| | Xiaomi-OCR-0 | 0.8B | 93.1 | 75.1 | 84.6 | 84.6 | 78.6 | 83.2 | | Qwen3.5-0.8B | 0.8B | 88.5 | 60.3 | 69.5 | 77.9 | 68.3 | 72.9 | | Qwen3.5-2B | 2B | 92.4 | 72.4 | 77.0 | 85.9 | 76.9 | 80.9 | | Qwen3.5-4B | 4B | 94.4 | 80.4 | 82.4 | 86.6 | 80.8 | 84.9 | | MiniCPM-V-4.5 | 8B | 84.9 | 69.6 | 87.4 | 89.0 | 82.2 | 82.6 |

这张表最有价值的信息并不是 Xiaomi-OCR-0 全面超过大模型，而是它在较小体量下取得了接近 4B 模型的综合成绩。它比 Qwen3.5-4B 的 84.9 低 1.7 分，在 OCRBench、TextVQA 等单项上也并非第一，因此不能把专项优化等同于通用视觉理解能力更强。

Xiaomi-OCR-0 的任务边界很清楚：如果工作负载主要是文档、图表、票据和场景文字，它的参数效率相当突出；如果需要处理开放世界图像、复杂视觉推理或更广泛的多模态任务，通用大模型仍然更稳妥。

真实拍摄基准比干净扫描件更值得看

Real5-OmniDocBench 是一个覆盖模拟扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种采集方式的文档解析基准。Xiaomi-OCR-0 在该基准上得到 95.24 分，在官方列出的对比模型中排名第一。

真实采集能力决定了 OCR 模型能不能离开演示环境。办公室扫描件通常版面平整、光照均匀，但用户手机上传的合同可能存在透视变形，会议室屏幕可能带有摩尔纹，书页还会因装订产生弯曲；这些问题往往比识别标准印刷字体更棘手。

| 模型 | 参数量 | OmniDocBench v1.6 | Real5 | Wild | |---|---:|---:|---:|---:| | TeleOCR | 1.2B | 96.87 | 未公布 | 88.53 | | Xiaomi-OCR-0 | 0.8B | 96.83 | 95.24 | 87.94 | | OvisOCR2 | 0.8B | 96.58 | 92.29 | 87.91 | | PaddleOCR-VL-1.6 | 0.9B | 96.33 | 93.19 | 87.36 | | MinerU2.5-Pro | 1.2B | 95.75 | 88.94 | 87.33 | | GLM-OCR | 0.9B | 95.22 | 90.32 | 85.08 |

OmniDocBench v1.6 的结果表明，Xiaomi-OCR-0 以 96.83 分位列第二，只比 TeleOCR 的 96.87 分低 0.04 分。在更偏开放场景的 Wild-OmniDocBench 上，它得到 87.94 分，同样排名第二，比 TeleOCR 低 0.59 分，但略高于同为 0.8B 的 OvisOCR2。

专项识别能力同样是这款模型的强项。Xiaomi-OCR-0 在数学公式识别基准 UniMER-Test 上得到 97.84 分，在 PubTabNet 表格识别上得到 92.27 分；历史手写与书法测试 Chronicles-OCR Mature Scripts 得到 73 分，与官方列出的 Seed 2.0 Pro 的 72 分处于相近水平。

官方基准仍然不能替代业务数据验证。不同模型可能采用不同图像预处理、解码策略与后处理流程，而表格识别尤其容易受到 HTML 转换规则影响；企业在迁移生产工作流前，仍应使用自己的合同模板、票据噪声和字段定义进行盲测，并统计字段级准确率、页面失败率与人工返工比例。

训练重点是让模型知道文字在哪里

**Q-Mask 文本锚定是一种强化图像局部区域与文字 Token 空间对应关系的训练方法。**文档模型常见的问题不是完全看不见文字，而是知道页面中出现了某个词，却无法稳定判断它位于哪一行、哪一个单元格或哪一个字段附近。

Q-Mask 的作用类似于强迫模型在阅读时用手指着文字。它通过局部遮罩和区域约束，让视觉特征与文字 Token 建立更明确的空间对应关系，从而改善密集排版、跨栏阅读和字段定位能力。

**OCR 持续预训练是用大规模 OCR 多任务数据继续训练基础模型的阶段。**小米为这一阶段混合了百亿级 Token 数据，让基础模型先建立文字识别、版面理解、表格恢复和公式转写能力，再进入更具针对性的强化阶段。

**混合任务强化学习是用可验证指标同时优化解析、识别与问答任务的训练方法。**Xiaomi-OCR-0 使用结构编辑距离、表格匹配度和问答准确率作为奖励信号，模型输出是否正确可以被程序判断，而不完全依赖另一个模型给出主观评分。

从官方消融结果看，持续预训练阶段的五项 VQA 平均分为 78.1，经过中间优化后提升至 82.7，最终 Mix-RL 阶段达到 83.2。最后一个强化学习阶段带来的增幅只有 0.5 分，但它发生在已经较高的基线上，且主要作用是继续修正困难样本。

表格和公式用了更接近工程验收的闭环

小米为复杂表格和公式引入了预测、重渲染、视觉比对的闭环校验。模型先产生候选结构，再把候选结果重新渲染成图像，与原始文档区域进行像素级和结构级比较，最后定位行列错位、合并单元格错误或数学符号缺失。

这套方法的逻辑很像前端页面的视觉回归测试。单看生成的 HTML 或 LaTeX，系统很难确认结构是否与原图一致；重新渲染后，错误的列宽、缺失的分数线和错位的上下标都会变成可检测的视觉差异。

异构专家共识机制则负责降低训练标注中的噪声。正文、表格和公式区域会交给多个不同 OCR 专家模型处理，再通过交叉校验和投票筛选高置信结果，避免单一教师模型把系统性错误大规模传给学生模型。

困难样本合成补上了真实数据中分布稀疏的长尾情况。团队按照版面复杂度、字体形态和物理退化因素构造训练数据，覆盖多语种、古籍手写、屏幕摩尔纹、扭曲光照和纸张形变，这也解释了模型在 Real5 基准上的相对优势。

本地 Agent 工具比单一权重更接近可用产品

Xiaomi-OCR-0 的开源仓库不仅提供模型权重和推理代码，还包含本地 MCP 服务与浏览器演示。MCP 是一种让模型或 Agent 以标准化方式调用外部工具和上下文资源的协议，在这套方案中负责提示词组织、PDF 与图像预处理、可选区域检测、裁剪并发推理和结果组装。

官方建议根据文档类型选择不同解析路径。印刷清晰、版式规整的文档适合先进行区域检测，再对不同区域并发处理；场景文字、手写笔记、书法、古籍和版式不规则材料更适合整页解析，以免区域边界切错后丢失上下文。

这个建议也暴露了统一模型仍然绕不开的工程现实。模型可以统一任务接口，但输入分辨率控制、PDF 拆页、区域裁剪、并发调度、结果拼接和失败重试依旧需要完整工具链，不能把一个模型权重直接等同于可上线的文档平台。

小米这次做对了什么

Xiaomi-OCR-0 最有竞争力的地方，是用 0.8B 参数把文档数字化链路压缩到了一个足够小的统一模型中。它在 OmniDocBench v1.6 上距离第一名只有 0.04 分，在 Real5 上以 95.24 分排名第一，同时还能完成字段 JSON 提取和文档问答，这种任务密度比单项 OCR 冠军更有实际意义。

它的第二个价值，是给私有文档处理提供了更可控的选项。合同、财务票据、医疗文书和内部报表往往不适合上传到外部服务，0.8B 模型更有机会部署在本地服务器、边缘设备或隔离环境中，不过使用者仍需根据仓库中的许可证条款确认具体使用边界。

它的局限也同样明确。官方公布的大部分数字来自项目团队选择的基准和推理配置，模型并没有在所有单项上领先；统一模型输出 JSON 也不等于字段一定满足业务约束，金额格式、日期标准化、跨页关系和低置信结果仍需规则校验或人工复核。

综合来看，Xiaomi-OCR-0 不是一次简单的 OCR 模型缩小，而是对文档处理栈的重新打包。对于开发者而言，最值得测试的不是它能否识别一张清晰截图，而是它能否在真实业务中把多组件流水线压缩成一套模型加少量后处理，并将人工返工率降到可接受水平。

如果官方成绩能够在第三方复现中保持稳定，Xiaomi-OCR-0 会成为 1B 以下文档模型中非常有竞争力的基线。它未必能取代所有专用 OCR、表格模型和通用视觉大模型，但在本地部署、批量解析和结构化抽取这三个场景里，它已经给出了一个足够实用的折中点。

参考来源

• 小米开源 0.8B 参数 OCR 小模型：IT之家对 Xiaomi-OCR-0 发布信息、训练数据与主要评测结果的报道。
• Xiaomi-OCR-0 GitHub 仓库：官方中文说明，包含模型能力、训练方法、工具链与使用建议。
• Xiaomi-OCR-0 Hugging Face 模型页：官方模型权重、基准对比和 OCR 视觉问答成绩。