研究ai怎么用、怎么赚

OXR文档解析模型:pdf识别文字图片免费方法网站@SoMark 团队@欧巴聊AI

AI 读不懂文档,才是知识库幻觉的根源

神吐槽 · 本站解读

把一份 PDF 或扫描件直接丢给大模型,结果答非所问,锅往往不在模型,而在它读到的东西。文档解析这一步如果拆错结构、漏掉表格或公式,后面再强的模型也是垃圾进垃圾出。OXR 的着力点正是这里:用 1.3B 的小体量,把版面分析、元素识别和阅读顺序合并进同一次推理。

值得注意它的边界:1.3B 参数意味着它靠的是架构效率而非参数堆叠,单卡 RTX PRO 6000 上 21 个模型测速第一,但榜单数字来自官方固定环境。对企业真正实在的是「可插拔版面模块」和「无需人工标注的 RSI 自我改进」——前者让不同部门按需换模型,后者把最贵最慢的标注环节省掉了。

维度 核心结论
模型 OXR-1.0(SoMark 团队开源),参数量仅 1.3B,10 月 20 日发布
精度 OmniDocBench 97.18、olmOCR-bench 87.94、DocParsingBench 87.76,三榜均居首
速度 单卡 RTX PRO 6000 上 21 个模型测速第一,解码 557.8 tok/s、端到端 0.99 页/秒
实测 化学试卷、竖排桃花源记、虚构利润表、手机照片、企业标准共五项,均 2~3 秒完成
架构 阅读顺序判断合并进内容识别;版面分析拆为独立可插拔模块
训练 从零预训练 + RSI 递归自我改进,闭环无需人工标注新数据

最近后台有朋友问我,说他们在做公司内部的知识库,把几百份产品手册和企业标准丢了进去,但 AI 幻觉太严重了,回答总是错的,是为啥呀?

这个问题其实很简单,先别急着怪大模型,要先看看它读到的是什么。一份 PDF 扔进去,第一步是要拆解成结构化的数据。这一步要是不准确,后面的模型再聪明,也是白搭。这就是垃圾进,垃圾出。刚好这周,刷到个开源模型让我眼前一亮。它叫 OXR,是 SoMark 团队开源的文档解析模型,只有 1.3B。

主打一个把 PDF 和文档图片变成 Agent 友好的数据。光看这个名字就取得很有野心了,OCR 的全称是 Optical Character Recognition,OXR 把中间的 C 换成了 X,全称是 Optical Everything Recognition。

万物皆可识别。更猛的是,它是 10 月 20 日在 X 上发布的,几天下来,X 的 News 板块里,讨论热度多次排到了 Top1。一个国产的开源模型,先在海外开发者圈子里被围观。这样的剧情,这两年越来越常见了。那么话不多说,咱们必须来实测一波。

GitHub:https://github.com/SoMarkAI/OXR

Hugging Face:https://huggingface.co/SoMarkAI/OXR-1.0

在线Demo:https://free-oxr.somark.cn/

免费API:https://free-oxr.somark.cn/api/v1

SoMark官网:https://www.somark.cn

实测前先跑分:全球三榜 Top1

实测之前,先来看下跑分。

模型 OmniDocBench olmOCR-bench DocParsingBench
OXR-1.0 97.18 87.94* 87.76
Nougat 96.91 — 83.73
MinerU2.5-2509 96.83 87.60 86.17
OmniOCR2 96.47 — —
PaddleOCR-VL-1.6 96.34 — —
MinerU2-5-2508 95.75 — —
GLM-4.6V 95.22 — —
PaddleOCR-VL-1.5 94.93 — —
Qwen2-VL — 83.80 —
olmOCR — 83.90 80.42
MinerU-v1 — 83.40 83.05
MonkeyOCR — 82.50 82.78
Proto-OCR — — 84.45

原图主张 OXR-1.0 在三大文档解析基准均居首;omlOCR-bench 的 OXR 分数在两处标注略有差异(柱状榜 87.54 / 散点图 87.94),此处取散点图第一标注。个别临近模型分差在 0.1 以内,源于榜单版本或图像分辨率。完整榜单见原图。

因为比起热度,我更关心实际的效果。毕竟文档解析这条赛道,这两年卷得还是很凶的。不少还都是大厂来做的,比如 PaddleOCR-VL-1.6,MinerU2.5-Pro,OvisOCR2 等等。而 OXR 的跑分,拿到了全球三榜的 Top1。这就更激发起我的好奇心来实测了。

OXR 可以识别公式,表格,化学方程式和代码块等 13 类文档元素,甚至还能提供对应的版面坐标。下面咱们就立马进入实测。

五项实测:从化学试卷到企业标准

第一个是我让 AI 模拟生成的一份化学试卷。

第一项:化学试卷(2.9 秒)

扔进去之后,一眨眼的时间就解析完成了,处理时长 2.9 秒,这速度真有点恐怖了。解析出来的内容,也没啥大毛病。更细的是,它输出的形式是非常 AI 友好的。

这个示例里,整体输出是一份 Markdown 格式的文件,表格的输出是 HTML 标签,公式是 LaTeX 格式,化学方程式是用 mhchem 表示的,化学结构式是用 SMILES 表示的。

输出完全可以无缝扔给 AI 直接来读。这还没完,更细的马上就来了。解析结果中,还包含版面的坐标信息,拿到了这个,你就能结合原始文档来精准展示对应的区域了。折腾过这块的开发宝子们,你应该能看懂 OXR 的含金量了。在过去需要分开折腾的工作流,现在直接扔给模型,真就能全都一把出来了。第二个,我想给它上个难度。

第二项:竖排《桃花源记》,含小字注释与红色印章

扔进去了一份竖排的《桃花源记》,是从右往左读的,正文里面还夹杂着小字的注释,里面还有一枚红色的印章。结果输出的内容,无论是阅读顺序,还是小字注释全都识别出来了。甚至连印章中的文字,输出也是正确的。处理时间总共只花了 2 秒钟,确实有点东西啊。继续上难度,第三个,我给它的是一份虚构的公司利润表。

第三项:多级表头与合并单元格的利润表

里面不仅有多级的表头,还有各种合并单元格。解析的结果,依旧是非常准确。为了测试它的上限,必须继续增加难度。

第四项:歪斜带阴影的手机翻拍件

我把这份文件拍成了一张歪斜带阴影的手机照片,再扔给他测了一遍。输出的质量依旧稳定。继续上难度。

第五项:倾斜泛黄的企业标准扫描件

我让 AI 模拟生成了一份虚拟的企业标准扫描文件,还是这种倾斜泛黄的版本。扔给 OXR 之后,依旧是处理时间不到 3 秒钟,就输出了结果。非常细的一手就来了。我反复核对了好几遍,除了正文文本,页脚,页眉,图片和表格的注释全都识别出来了。甚至,它还单独把关键的零件图和印章图,单独的扣了出来。这你受得了么。

更受不了的是,我还找到了一份英文手写体识别的官方实测,OXR 解析的结果也是完全正确。经过咱们实测,看来不光是识别精度高得离谱,速度也是快得飞起。

官方测速:单卡 21 个模型里 Top1

官方在单张英伟达 RTX PRO 6000 上做了测速。

模型 解码速度 tok/s 端到端吞吐 pages/s 100 页耗时
OXR-1.0 557.8 0.99 101.0 s
PaddleOCR-VL-1.6 516.4 0.69 144.7 s
OvisOCR2 499.2 0.74 134.9 s
MinerU2.5-Pro 479.0 0.39 254.7 s
HunyuanOCR 473.5 0.57 175.2 s
LightOnOCR-2-1B 408.3 0.58 171.7 s
DeepSeek-OCR-2 400.2 0.62 161.1 s
TeleOCR 352.7 0.14 725.8 s
GLM-OCR 333.3 0.32 308.0 s
FireRed-OCR 244.5 0.33 300.4 s
Abot-OCR 244.3 0.46 217.3 s
Sunya-OCR-2 240.5 0.15 683.1 s
dots.ocr 235.7 0.13 793.2 s
jina-ocr-v1 225.7 0.17 578.0 s
OpenDoc-QIB 189.6 — —
Chandra-OCR-2 134.3 0.06 1557.6 s
Youtu-Parsing 109.4 0.02 4214.7 s
Infinity-Parser-7B 90.0 0.13 742.2 s
Logics-Parsing-v2 32.7 0.02 5112.1 s
Qianfan-OCR 26.9 0.26 377.9 s
Infinity-Parser2-Pro 10.1 0.02 5438.1 s

测试环境:单张 NVIDIA RTX PRO 6000,100 页端到端计时(文件输入到结果输出)。数值以原图条形图为准,个别临近值因分辨率读取可能存在 ±0.x 偏差;OXR-1.0 两项均居首。

从 OmniDocBench 里固定抽出了 100 页,让所有的解析模型一块跑,从文件输入进去到结果出来,全程掐表计时。

结果参与测速的 21 个模型里,OXR 排名 Top1。

为什么这么快:架构拆分与 RSI 训练范式

你可能想问了,它凭啥这么快呢?我特意研究了下 OXR 的架构,打个比方来说啊。

旧的流水线:三次交接吃掉时间

传统的文档解析像一条流水线,先做版面分析,把页面切成一块一块,再去分别识别文字,表格,公式等元素。最后还要单独跑一遍阅读的顺序,把各种碎块再拼回去。环节一多,时间久消耗在了交接上。而 OXR 是怎么做的呢?它把阅读顺序判断合并进了内容识别,全都用同一个模型一起来完成。

它在识别文字的时候,顺手就把先读哪块想清楚了。这时候它不光看得懂内容,排列顺序也有了语义依据。版面分析则交给一个独立的轻量模型,专心的干好这一件事。所以 OXR 快,主要是靠更合理的架构拆分,1.3B 的模型参数体量只是一部分原因。

可插拔版面模块:把最该定制的部分单独拎出来

架构拆开之后,还会带来一个对企业很实在的好处。OXR 首次将版面分析设计为独立可插拔的模块,在提升整体解析效率的同时,也能让业务适配变得更加灵活。你可以用它自带的版面模型,也可以换成自己训练的,后面的内容识别和阅读顺序照样交给 OXR。为啥需要换呢?因为一页纸究竟该怎么切,要因人因事因地因时制宜。

比如拿上面咱们的实测案例,制造企业里常见的一份企业标准来说,上面有各种条款编号,尺寸公差,材料成本,计算公式,结构示意图,还有印章。

同样一页纸,不同部门的要求是完全不同的。研发要的是公式和图,质检要的是检验规则表,采购看的是材料表里的牌号和化学成分。放到别的行业里也一样,以前碰到这种情况,只能整条解析链路推倒重来。OXR 把最常需要定制的那一块单独拎了出来,你可以自由插拔。最后,聊聊我觉得最有意思的部分,RSI。

RSI:把「错题本」做成训练闭环

OXR 是从零开始预训练的,在后训练阶段首次引入了面向文档解析的递归自我改进训练范式,也就是 RSI。这句话听着很魔幻,我换个大家都熟悉的东西来打比方。错题本。过去学霸为啥是学霸,因为他们大概率都有一本错题本,老师批改完卷子后,他们会把错的题和蒙对的题挑出来,再一道道题去分析。

把错误的原因归归类,对着最集中的那几类薄弱点专门找题来练习。练完了再去考试,考完再重新来一遍。OXR 的后训练,就是这么一个循环。找弱点补数据这个思路,其实业内不少团队都在用。OXR 还有个与众不同的地方,那就是整个闭环无需人工标注新的训练数据,大大加快了模型的迭代速度。

做过数据的同学,应该很懂这件事的含金量。毕竟标注,是文档解析里最贵最慢的一个环节。

尾声

克制的小模型,把使用门槛打没了

今年人人都想做全能的 Agent,个人 Agent。我很敬佩 OXR 的这种克制的态度,还是非常难得的。我查了下背后的团队,OXR 是由 SoMark 团队开源维护的,大家如果有更严格的生产需求,不妨去了解一下。更贴心的是,他们不光提供了免费的在线 Demo,还有免费的试用 API,甚至还提供了 vLLM 部署的插件和脚本,以及上下游的工具生态。可以说是把使用的门槛彻底打没了。往大了说,Agent 再聪明,也得先读得懂内容才行。把一页纸读对,看着是一件小事,却是所有成大事的起点。

我自己是从网页版直接开始的:不用装环境也不用写代码,把 PDF、扫描件或者手机拍的文档照片传进去,文字、表格连版面一起识别出来,下面这几个入口都是免费能用的。

 

文章来源:公众号「欧巴聊AI」 @欧巴聊AI | 原文链接:https://mp.weixin.qq.com/s/swslxYW1kkMY2X3hq0yIKQ


  1. OXR 是 SoMark 团队 10 月开源的 1.3B 文档解析模型,主打把 PDF 和文档图片变成 Agent 友好的 Markdown 与 JSON 数据。
  2. 我们用化学试卷、竖排桃花源记、虚构利润表、手机照片和企业标准五项任务实测 OXR,处理均在三秒内完成且识别准确。
  3. 在 OmniDocBench、olmOCR-bench 与 DocParsingBench 三大基准上 OXR 均列第一,同时解析速度也达到业内领先水平。
  4. 官方在单张 RTX PRO 6000 上用 100 页做端到端测速,OXR 在 21 个解析模型里解码速度与吞吐双双第一。
  5. 文章把 OXR 和 MinerU2.5、PaddleOCR-VL、OvisOCR2 等主流文档解析模型放在同一张榜单上做了横向分数与速度对比。
  6. OXR 在后训练阶段首次引入面向文档解析的 RSI 递归自我改进范式,整个训练闭环无需人工标注新的训练数据。
  7. OXR 把版面分析设计为独立可插拔模块,业务可保留自带版面模型或换成自训模型,以最小成本适配多场景。
  8. 实测显示 OXR 能识别竖排阅读顺序、小字注释、红色印章、多级表头与合并单元格,甚至单独抠出零件图和印章图。
  9. 1.3B 参数体量的 OXR 在文档解析精度与速度上同时压过一众大模型,说明这条赛道拼的是架构拆分而非参数堆叠。
  10. OXR 提供免费在线 Demo、免费试用 API、vLLM 部署插件与上下游工具生态,把文档解析的使用门槛降到了极低。
赞(0) 群聊
文章链接:https://www.tucaod.com/18184.html

讨论群终身200元

永远不解散,不涨价。不荐股、不带单。
ai学习安装,美股分析交流,不构成任何投资建议。终身免费指导。
AI产业链资料库

联系我们

觉得文章有用就可以进群

研究ai怎么用、怎么赚

支付宝扫一扫打赏