网易首页 > 网易号 > 正文 申请入驻

RSI立大功!国产开源登顶全球第一,1.3B OXR重塑OCR

0
分享至

Jay发自 凹非寺
量子位|公众号QbitAI

不er,RSI应用在OCR上,效果这么猛??

最近,一个参数量仅1.3B的国产开源模型,打爆了文档解析。

OmniDocBench、olmOCR-Bench和DocParsingBench,三榜第一。

跑分啥的就不多说了,咱直接来看效果图。

高数古法手写笔记,一键转MD。


Drawing 0

甚至连化学结构图都能画得出来。。。


Drawing 1

就离谱,基本万物可解析了。


Drawing 2

但我没想到的是,居然速度还快得一匹???

单张RTX PRO 6000,完成100页端到端文档解析,仅耗时101秒。

坏,A社这下蒸馏纸质书的效率得起飞了(bushi)。


Drawing 3

在海外开发者社区也是火爆了,已经获得1.1K+GitHub Star。

还一度成为推特最热Daily News。


Drawing 4

而这一切的一切,都离不开如今AI行业最性感的那个概念——

RSI。

这个自进化加持的OCR新物种,名为OXR。

Optical「Everything」Recognition。

三榜全球第一

文档解析,一座听着没啥技术含量,但至今仍未被完全攻克的高山。

传统OCR面对一份看似平平无奇的PDF,很多时候基本就是灾难现场。

双栏论文串行,手写公式识别成一堆乱码,跨页大表格结构直接崩解,至于化学结构式,很多工具干脆直接当成杂乱线条丢弃。。。

这种劣质提取一丢进RAG,模型再聪明,下游的Tool Call也得全部歇菜。

如今,这个妨碍AI获取高质量上下文的壁垒,终于被打爆了。

  • OmniDocBench:97.18,第一(上海人工智能实验室开源,覆盖10类复杂文档)
  • olmOCR-Bench:87.84,第一(海外知名人工智能机构Ai2团队推出,7000多道单元测试级硬核题目)
  • DocParsingBench:87.76,第一(#1,覆盖5大行业、14个真实业务场景)


image.png

一个名为OXR的开源文档解析模型,三项世界级榜单,全部登顶。

并且,整套评测流程和代码,全量开源可复现。

我也上手简单试了一下,确实不太一样。终于不是人工智障了。

以前的工具,我基本只指望它能把图变成字,剩下的就靠AI自己推理意会了。

而OXR能一口气吞下13类文档元素:

表格、公式、代码块、图片、化学方程式、脚注、页眉、页脚、印章……

应用在具体场景下,是这样的——

杂志,输出保留完整语义结构、阅读顺序的结构化MD。


Drawing 6

数理公式,直接转成标准的LaTeX代码。


Drawing 7

文献?

也别让LLM自己慢吞吞地调用工具阅读了,双列排版也不影响质量。


Drawing 8

甚至,连数学试卷也能解析???

看来以后GPT能更好地帮助小学生完成暑假作业了o(╥﹏╥)o。


Drawing 9

当然,最令人激动的,还是开源这件事。

要知道,这类垂直小模型,和LLM开源的意义是很不一样的。

我说实话,LLM开源虽好,但基本和普通用户是没太大关系的。

就算是一个只有27B的模型,本地部署成本也高得离谱,起码上个M5 Pro 64G吧,这还不考虑输出速度的问题。

但OXR这家伙,就1.3B啊。。。

什么概念?

你拿张RTX 3060,基本就能满血跑,无限薅羊毛。

海外开发者们也是皆大欢喜了。


Drawing 10

有点东西。


Drawing 11

所以,一个1.3B的文档解析模型,究竟是怎么实现准确率SOTA的?

秘密,全部藏在后训练——

居然靠的是RSI???

揭秘RSI训练

长期以来,大家都有一个思维定势:

AI要做到极致高精度,必须堆百亿级大模型,堆海量人工标注。

但说实话,文档解析这个领域,标注数据简直就是个无底洞。

排版千奇百怪,专业公式、代码、图表错综复杂,纯靠人工标注不仅成本高到上天,而且人工标注的错误率本身就高得吓人。

真实世界里的长尾Bad Case你根本穷尽不了。工程师辛辛苦苦挑出坏样本、人工修正、重新训练,好不容易发了个新版本,遇到新的奇葩排版还是会挂。

数据准备的速度,死死卡住了模型进化的脖子。

团队在这方面做了比较激进的探索。

他们意识到,文档解析长期以来,都有一个容易被忽视的特性:

每一份输入,都有客观确定的标准答案。

文字对不对、表格跨行跨列有没有错、公式符号有没有漏,都能被精确测量。

既然能客观判断对错,那为什么还要等人类来擦屁股?

做完这个思维实验后,OXR做了一个决定:

在后训练阶段,引入面向文档解析的递归自我改进(RSI)训练范式。

不依赖新增的人类手工标注,让AI系统自己找错、自己分析原因、自己准备下一轮训练数据、自己迭代进化。


Drawing 12

这个RSI过程,大致可以分为三个阶段:

1、预测与分类(Prediction&Classification)

OXR先去解析海量的无标签真实文档。

紧接着,通用多模态模型(General VLM)登场,结合原始图像、解析结果和评判标准,把样本切分成三类:

  • Correct:完全正确,直接通过。
  • Wrong:明确判错,送去深度剖析。
  • Uncertain:预测不稳定,或者处于分布边缘,同样送去分析。

保留Uncertain这一档,是个比较反直觉的Know-How。

如果你只给模型Correct和Wrong两个非黑即白的选项,评判模型的犹豫就会被强行包装成一个确定标签,最后把毒素喂给下一轮训练。

有了Uncertain,拿不准的样本就能被兜底。

除了VLM外,OXR还会对自己进行多次rollout采样。

一份文档如果跑几次出来的结果大相径庭,说明模型底气不足,哪怕碰巧蒙对一次,也会被直接扔进Uncertain集合。

最后,在语义完全不变的前提下,系统会针对这些高分歧样本做轻微的图像扰动(小幅缩放、压缩、轻微模糊或平移)。

如果加了扰动后分歧进一步扩大,说明模型对这类无害的视觉变化过度敏感,这个扰动动作就会被当场记录为一条核心病因,直接指导下一轮针对性补强。

2、归因与训练规划(Attribution&Training Planning)

把错样本和弱样本筛出来之后,绝不能直接乱喂给模型,你得搞清楚它到底死在哪儿。

在这个阶段,General VLM会像一个老医生一样,逐个样本去诊断:是跨列单元格对齐失败,还是手写连笔识别错误?

诊断出的自然语言原因,会被输入到SigLIP2提取特征向量,然后通过独立的聚类模型进行聚类,形成清晰的原因簇(Reason clusters)。

比如,一张财务报表和一张化学实验记录表,外观和文字八竿子打不着,但如果归因聚类发现它们都死在某种罕见的跨行跨列结构上,这就会被提炼为一个共同的数据构造方向。

这就是精准打击,哪儿薄弱补哪儿。

3、数据生成(Data Generation)

有了明确的原因簇,生成器就知道该练什么题了。

OXR的具体做法是:原因簇提供结构难点,真实样本池提供版式与视觉风格参照。

每一次生成新数据,都会从真实样本中抓取排版风格作为锚点,把需要攻克的结构难点自然地融入进去。

前面在扰动测试中发现的视觉脆弱点,也会被系统性地编入合成管线,强制模型在练习中反复脱敏。

最后,生成出来的数据经过严格规范校验,直接回流去训练下一代OXR。

一轮跑完,模型的短板被补齐;新一轮真实文档再跑,又会暴露出新的短板,驱动下一轮迭代。

RSI,自此成型。

数据分布在每一轮迭代中变得越来越完备、越来越扎实。

这也是OXR能做到如此高智能密度的原因。

当数据质量高到一定程度,模型就不再需要靠臃肿的参数量,去死记硬背。

架构轻巧可插拔

聊完数据和算法,我们接着看下一个问题。

准确度第一,我可以理解。

但速度也是第一,是啥情况啊???

在单张RTX PRO 6000上,OXR端到端解析100页文档只要101.0秒,开源第一。

最开始我以为是参数小的原因。

但后面我才发现,文档解析这件事,光靠模型小,是做不到的。

这背后有很多反直觉的Know-How。

回顾这两年文档解析的技术演进,行业里其实走过了好几个阶段。

最开始大家搞Pipeline,检测、识别、排序各用一个独立专有模型,拼起来极其臃肿,维护成本上天。

后来VLM火了,大家发现所有任务本质上都是图片到序列的映射,于是开始尝试用端到端大模型一锅端,让大模型直接全页往外蹦字和排版。

这种方案虽然优雅,但速度慢如蜗牛,因为自回归生成长序列太吃算力了。

再后来,PaddleOCR-VL走出了很漂亮的一步:

把版面分析(LA)和阅读顺序(RO)合并成一个小模型,后面接识别(Recognition)模型,做成了两个模型、两个阶段。

这一下把版面检测的速度拉回了传统目标检测毫秒级的水平,直接成为了这两年的行业标准解法。

但,这就完美了吗?

并没有。每增加一条版面标注,就必须强行绑上一条阅读顺序标注,数据处理难度直接翻倍。

OXR团队在深入推演后,给出了一个完全不同的任务级重构方案:

独立的轻量模型负责版面分析(LA),OXR主模型同时负责内容识别(Recognition)与阅读顺序判断(RO)。

也就是:

Layout Analysis-->Recognition+Reading Order

这个看似简单的拆分组合,在工程上带来了两个巨大质变:

其一,彻底抹平了阅读顺序带来的性能损耗。

在整个流水线里,判断阅读顺序的耗时原本就远小于文本识别。

OXR把阅读顺序判断并入主模型之后,不仅没有增加额外时间,反而因为主模型本身具备语义理解能力(Content-Aware),使得阅读顺序的判断准确率大幅提升。

同时,前面的版面分析模型(LA)由于卸下了复杂的排序包袱,任务变得极度纯粹,可以直接采用更轻量的高效检测模型,整体吞吐量原地起飞。

其二,版面分析模块独立且完全可插拔。

不同业务,对版面的需求完全打架,这是一个长尾问题:

一个图文混排的区域,内容团队希望当成一整张图提取,知识库团队希望把里面的文字抠出来当正文;

密集排布的四格漫画,业务A想要整体裁切,业务B想要切成四个小图;


image.png

总之就是非常难定义,众口难调。

但在OXR的架构里,版面分析是一个完全独立的可插拔模块——

以最小的改造成本,实现最大的业务适配自由度。


Drawing 14

如果你的业务有着极其特殊的版面划分需求,比如你要处理古籍、医疗单据,你完全可以用自己训练的私有版面分析模型,无缝替换掉,

后端继续白嫖OXR强大的内容识别能力。

开箱即用生态

当然,既然是为开发者社区而生,一个模型吹得再天花乱坠,如果部署不了,那也是白搭。

在这方面,官方提供了免费API,免注册、免申请Key。

是的,完全免费,纯白嫖啊。。。

官方表示,至少在服务器负载仍能承受的区间内,他们会一直维护开源免费服务。

这岂有不站起来蹬的道理!

所以我火急火燎地在自己的写作APP,接入了这个API。

说实话,PDF解析这一块,和之前的方案比起来,效果要好太多太多了。


图片

对了,想本地部署的同学,也是没问题的。OXR全面适配了主流推理框架。

不需要你自己吭哧吭哧去重新编译vLLM,直接在官方Docker或CLI挂载插件就能一键拉起服务。

目前,OXR的代码、权重以及整套基准评测的复现流程,已经全部公开。

链接在文末,感兴趣的朋友可以自取。


Drawing 15

当然,如果你有更高的需求,比如处理Word、PPT、Excel等更多格式,或者追求更完善的后处理定制能力,也可以去了解一下官方维护的商业级引擎。

叫作SoMark。

这也是OXR团队的名字。


image.png

One More Thing

最后,我还有一点点想法,想和大家聊一聊。

为什么在今天,我们还要花这么大的精力去死磕文档解析?

Agent正在全面接管各行各业工作流的今天,人类过去几十年沉淀下来的最核心、最专业的私域知识,绝大多数都还静静地躺在那些格式混乱、排版复杂的PDF、扫描件和报表里面。

大语言模型再聪明,如果给它喂进去的输入是一堆顺序错乱、表格破碎的字符垃圾,它吐出来的也只能是幻觉。

过去很多人把OCR当成一个技术含量不高的搬砖活,但今天从OCR到OXR,它所承担的使命已经完全变了。

它是人机交互的桥梁,把人类世界里所有复杂的多模态文档,完整无损地重构成对Agent极其友好的结构化资产。

说实话,看到国内有团队在做这些贴近工程落地的事,其实蛮令人兴奋的。

太多人的目光聚焦在Fancy叙事了,天天都在追前沿技术,反而让我们忘记了一件很重要的事——

用户到底需要什么?

LLM发展到现在这个阶段了,这个问题的答案,绝对不是更高的模型智能了。

更大的瓶颈,存在于那些尚未有人开荒,需要Get Hands Dirty的领域。

如果这件事能形成共识——

属于Agent的基础设施,会以肉眼可见的速度,一片一片拼图归位。

GitHub:https://github.com/SoMarkAI/OXR

Hugging Face:https://huggingface.co/SoMarkAI/OXR-1.0

在线Demo:https://free-oxr.somark.cn/

免费API:https://free-oxr.somark.cn/api/v1

SoMark官网:https://www.somark.cn

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

说不尽的人心
2026-11-22 10:41:55
2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

过期少女致幻录
2026-11-23 03:34:31
股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

村夫观天下
2026-11-22 21:31:28
3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

刘姚尧的文字城堡
2026-11-22 20:13:56
终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

快乐彼岸
2026-10-22 04:01:15
首都医科大学孙永全教授因病离世,年仅62岁

首都医科大学孙永全教授因病离世,年仅62岁

双一流高校
2026-11-23 00:08:08
29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

念洲
2026-11-22 08:51:44
特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

星落山间
2026-11-22 17:33:19
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-09-17 06:00:15
仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

颜小白的篮球梦
2026-11-22 23:22:20
儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

温情邮局
2025-09-28 11:57:16
油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

沙雕小琳琳
2026-11-23 03:06:58
报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

观锐器
2026-11-19 23:10:04
0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

体育知多少
2026-11-22 09:21:53
吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

华庭讲美食
2026-11-22 14:02:23
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
伊朗副外长证实调解方卡塔尔代表团访问德黑兰

伊朗副外长证实调解方卡塔尔代表团访问德黑兰

澎湃新闻
2026-11-22 01:49:02
77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

卡西莫多的故事
2026-05-09 09:42:29
2026-11-23 04:11:00
量子位 incentive-icons
量子位
追踪人工智能动态
13709文章数 176603关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

本地
亲子
数码
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

难怪养孩子3岁不离手5岁不离眼!看评论区我呆住,人心险恶亲戚歹毒

数码要闻

NVIDIA驱动SSD异常写入:最新紧急补丁也没解决!待机一夜仍写入36GB

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版