网易首页 > 网易号 > 正文 申请入驻

PDF表格一进RAG就幻觉?问题出在扁平化

0
分享至

企业里大量知识藏在PDF表格里,但标准RAG(检索增强生成)流水线一碰到它们就翻车。不是模型不够聪明,而是预处理阶段就把表格的网格结构摧毁了——行与列的交叉关系一旦被压成纯文本,LLM看到的只是一串无结构的数值流,幻觉几乎是必然结果。

这篇文章提出了一套诊断框架和五个可组合的操作,核心思路很直接:把表格当作原生结构化数据来对待,而不是装饰性文本。作者认为,正确做法不是把表格作为文本处理得更好,而是在尽可能早的阶段将其恢复为结构化形式,此后一律当作数据处理。


四个表示层级,匹配不同问题形状

作者定义了四个表示层级,让调度器能把结构与实际问题的形状匹配起来。Level A是按行Markdown,足以应对大多数问题——像散文一样叙述的表格,直接从行里检索答案就行。Level B是独立DataFrame,在需要二维操作(比如跨页拼接或列投影)时使用。

Level C把频繁出现、schema稳定的表格提升为可SQL查询的列式存储,支持语料库级问题。Level D则是schema无法规范化时的诚实回退方案。四个层级各有适用场景,调度器根据诊断结果决定走哪条路。

五字段诊断,替代脆弱决策树

诊断系统为每个表格记录五个正交属性:解析质量(完美/部分/失败)、规模(行×列对)、表头状态(存在/缺失/续表)、跨页连续性(独立/自第N页续/延续至第M页)、文档级表格文字比。每个字段单独记录,调度器读取全部五个字段后,幂等地组合操作。

比如一个部分解析+续表+大表格的组合,会依次执行结构重建、多页拼接、问题驱动投影。这种设计避免了脆弱的决策树逻辑,每个字段独立记录,组合方式确定且可预测。

解析器的选择,分量不亚于操作的选择

文章强调了一个容易被忽视的点:同一页面经不同解析器处理后,可能落入完全不同的诊断桶。在《Attention Is All You Need》论文的超参数表格上,Fitz将13列坍塌为3个单元格,而Azure Document Intelligence干净地恢复了全部13列。

这意味着解析器选错了,后续操作再优化也白搭。作者建议先用廉价解析器,仅对困难表格升档——这个策略吸收了操作本会重复完成的工作,避免了不必要的计算开销。

五个可组合操作,覆盖完整升级路径

五个操作都是幂等的,无论以何种顺序组合都安全有效。O1从词级包围盒重建网格,处理部分解析;O2通过表头传播拼接多页续表;O3在检索前根据问题范围对表格进行投影和过滤;O4将频繁表格提升到列式存储以支持SQL查询;O5在万不得已时将表格区域渲染为图像供视觉LLM提取。

O5被刻意保留为高成本回退方案——只有当其他操作都失败时才启用。这种分层设计让系统在大多数情况下走廉价路径,只在真正困难时升级。

真实案例:从NIST到世界银行

文章用真实案例验证了这套框架。NIST网络安全框架PDF和世界银行CMO表格都展示了不同层级的处理效果。像"财产险的免赔额是多少"这样的问题,直接从Markdown行获取答案,像任何其他行一样检索、引用——混合内容文档中的大部分表格到这里就结束了。

这套方案的核心价值在于:它承认表格是布局产物而非数据结构,但拒绝接受"扁平化是唯一出路"的现状。通过诊断驱动操作组合,在最合适的抽象层级保留表格结构,让RAG系统在表格场景下也能给出可靠答案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
阿尔瓦雷斯道歉失效,锋线3场7球,他如何赢回球迷信任?

阿尔瓦雷斯道歉失效,锋线3场7球,他如何赢回球迷信任?

暗香暗香
2026-09-03 16:55:19
普京当着中方的面,主动开口说了这么句话:如果中国方面觉得可行,俄罗斯愿意把现在的中俄互免签证安排,直接升级成永久机制

普京当着中方的面,主动开口说了这么句话:如果中国方面觉得可行,俄罗斯愿意把现在的中俄互免签证安排,直接升级成永久机制

扶苏聊历史
2026-09-03 18:43:07
“林肯”号,“令人震惊”!

“林肯”号,“令人震惊”!

环球时报国际
2026-09-03 18:48:53
毛主席曾对尼泊尔首相说:你想把珠峰全部划归贵国?还有更好办法

毛主席曾对尼泊尔首相说:你想把珠峰全部划归贵国?还有更好办法

究竟谁主沉浮
2026-08-17 20:19:17
上海著名主持人宣布退休!网友集体回忆杀:一代人的青春,谢谢您的陪伴…

上海著名主持人宣布退休!网友集体回忆杀:一代人的青春,谢谢您的陪伴…

陈意小可爱
2026-09-04 12:11:47
武大“学术妲己”事件升级:男方现任安大副校长,校方回应

武大“学术妲己”事件升级:男方现任安大副校长,校方回应

娱圈观察员
2026-09-04 11:57:44
央视记者采访的贝壳“诚意卖”,在京沪杀疯了

央视记者采访的贝壳“诚意卖”,在京沪杀疯了

易简财经
2026-09-04 12:09:36
无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

梦史
2026-08-29 06:21:20
老人因“鱼头对自己”怒斥小辈,被怼到哑口无言:没生在紫禁城,就别那么多穷规矩!

老人因“鱼头对自己”怒斥小辈,被怼到哑口无言:没生在紫禁城,就别那么多穷规矩!

妍妍教育日记
2026-08-16 10:05:09
全网都在画清华丁教授:用你的画风画你,怎么就成了人身攻击?

全网都在画清华丁教授:用你的画风画你,怎么就成了人身攻击?

再战五百回合
2026-09-01 22:32:53
“不如炒盘鸡蛋!”山东家长晒4个孩子晚餐,蛋白质趋近于0!

“不如炒盘鸡蛋!”山东家长晒4个孩子晚餐,蛋白质趋近于0!

林林先生
2026-08-27 19:14:35
阿隆索致命失误!切尔西自毁天才!新萨拉赫 + 德布劳内恐将离队

阿隆索致命失误!切尔西自毁天才!新萨拉赫 + 德布劳内恐将离队

澜归序
2026-09-04 09:51:54
账面328亿美元!孙宇晨公开资产估值表引热议,网友:大部分其实都不能变现

账面328亿美元!孙宇晨公开资产估值表引热议,网友:大部分其实都不能变现

火山詩话
2026-09-02 17:12:20
陆毅:我这辈子最正确的决定,就是当年在排练时,故意NG七次也要多抱鲍蕾一次

陆毅:我这辈子最正确的决定,就是当年在排练时,故意NG七次也要多抱鲍蕾一次

飘飘然的娱乐汇
2026-09-03 21:10:06
印度学者曾表示,就国家层面而言,当今世界美国是第一,其次是俄罗斯,第三肯定是印度,第四是中国

印度学者曾表示,就国家层面而言,当今世界美国是第一,其次是俄罗斯,第三肯定是印度,第四是中国

扶苏聊历史
2026-08-27 15:00:02
告别红利!雁塔二手房暴涨万套,西安楼市彻底进入买方寒冬!

告别红利!雁塔二手房暴涨万套,西安楼市彻底进入买方寒冬!

童童聊娱乐啊
2026-09-04 10:30:02
存款大势已定!从2026年9月起,银行储蓄市场这4个信号值得警惕!

存款大势已定!从2026年9月起,银行储蓄市场这4个信号值得警惕!

猫叔东山再起
2026-09-04 09:25:11
越南外交部正式发声,态度强硬。 “未经越方许可、完全非法无效”

越南外交部正式发声,态度强硬。 “未经越方许可、完全非法无效”

王姐懒人家常菜
2026-09-03 06:34:15
新型保姆火了!不住家也不是钟点工,省钱又省心,很多家庭已用上

新型保姆火了!不住家也不是钟点工,省钱又省心,很多家庭已用上

娱乐圈见解说
2026-09-03 00:26:58
幼儿园老师透露:第一天上幼儿园不哭的孩子,多半出自这3种家庭

幼儿园老师透露:第一天上幼儿园不哭的孩子,多半出自这3种家庭

浩源的妈妈
2026-09-02 15:40:12
2026-09-04 13:44:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
253文章数 71关注度
往期回顾 全部

头条要闻

媒体:美国G20相关会议声明单独"点名"中国 十分罕见

头条要闻

媒体:美国G20相关会议声明单独"点名"中国 十分罕见

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

王宝强冯清八年未领证!真相令人泪目

财经要闻

GPT-6 Astra上线,AGI时代真到来了吗?

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

本地
游戏
亲子
公开课
军事航空

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

《异克斯小队》科隆试玩报告:灭害专员快乐工作的一天

亲子要闻

一眨眼七岁了,他昨天还主动跟班主任说4号是他的生日 杨雪呀

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

乌特工内战街头对射 互认对方为"俄特工"

无障碍浏览 进入关怀版