苹果LensVLM：长上下文压缩成图片，模型边看边「放大」

Agent 执行长程任务时，代码、工具输出和交互记录不断累积，上下文也跟着变长。

生成摘要、压缩上下文，可以减少输入，却也可能删掉后续任务需要的细节。一段当时看起来无关紧要的记录，到了下一步，或许就是关键线索。如果模型只能看到压缩结果，就很难再把它找回来。

DeepSeek-OCR 展示了另一条路线：让图像承载文字，用较少的视觉 token 表示文本信息。压缩页面能够覆盖全文，但清晰度成了新的瓶颈。字符越小，模型越难辨认；压得太狠，答案就在页面上，模型却已经看不清了。

许多压缩方案对模型而言是一条单行道：压缩之后，它就无法按需回头查阅原文。那如果给模型一个 “放大镜” 呢？

苹果基础大模型团队与杜克大学提出LensVLM，让模型先浏览覆盖全文的压缩页面，再展开与问题有关的页面。在七项文本问答评测中，它以4.3 倍有效压缩达到 68.9% 的平均准确率，接近完整文本参照的 72.4%。

这项工作近期被NeurIPS 2026接收，在 X 上也获得了较高关注，并引发了不少关于 “将文本转化为图像进行长上下文理解” 的讨论。Hugging Face 产品负责人 Victor Mustar 在 X 上介绍了该研究，相关帖文获得约 28 万次浏览。公开的 LensVLM 9B Demo 也已上线，读者可以体验模型选页、展开与作答的过程。

• 论文：https://arxiv.org/abs/2605.07019
• 模型：https://huggingface.co/apple/LensVLM-9B
• 代码：https://github.com/apple-aiml-research/ml-lensvlm
• Demo：https://huggingface.co/spaces/hugging-apps/lensvlm-9b-demo

文字变成图，省下了什么？

语言模型通常将文字拆成文本 token；视觉语言模型则通过视觉编码器，将图像转换为视觉 token。一页图像如果容纳了足够多的文字，表示它所需的视觉 token 就可能少于直接输入原文所需的文本 token。

字号、页面尺寸和文字密度，因此都可以用来调节压缩率，无需重新设计文本词表。与先检索少量片段再阅读相比，压缩图片能够覆盖全文，让分散在不同位置的证据仍有机会被模型找到。

代价也很直接：字符越压越小，可能超出视觉编码器的辨识能力，甚至在像素层面就难以区分。论文中，基础模型直接阅读 5 倍压缩图像，平均准确率仅为31.3%，明显低于完整文本参照。

同一段文本在 5×、10×、15×设置下的渲染结果。压缩越强，视觉 token 越少，字符也越难辨认。

先选页，再细读

LensVLM 将定位证据与读取证据分开。模型先接收问题和全部压缩图片，选择值得细读的页面，再调用展开工具。对于由纯文本渲染的页面，工具返回对应的原文，并将其加入上下文。读完后，如果证据还不够，模型可以继续选择下一页。

Demo 中有一道问题：在电影《Kiss and Tell》中饰演 Corliss Archer 的女性，曾担任什么政府职务？模型面对 15 张压缩页面，选择第 10 页，调用 read_page 读取原文，最终回答 “美国礼宾司司长”。

这里的 “放大镜”直接访问保存的源内容。系统需要保留原文或原始图像：压缩页面供模型浏览全文，展开内容则补回回答所需的细节。

选哪页，需要训练

给模型接上工具，并不意味着它就知道该读哪一页。

研究以 Qwen3.5-9B-Base 为基础，先筛选出它无法直接答对的样本，再让 Qwen3.5-397B 根据问题、真实证据和标准答案生成工具使用轨迹。通过监督微调，模型学习示范中的推理、选页和回答过程。

随后，研究使用 DAPO 强化学习，继续优化模型自己生成的轨迹。奖励以答案正确性为依据，只有答对时，使用工具才会获得额外加分。

在 5 倍初始压缩设置下，监督微调将平均准确率从 31.3%提高到 63.7%，强化学习进一步提高到68.9%。

LensVLM 的推理与训练流程。模型交替推理和展开页面，通过监督微调与强化学习学习选择性阅读。

压得更狠，还能读懂多少？

主评测覆盖 NQ、HotpotQA、MuSiQue、HELMET，以及未用于训练的 RULER、Qasper 和 LongBench，包含单跳与多跳长文问答。

在 15 倍初始压缩设置下，基础模型直接阅读压缩图像的平均准确率降至18.1%，LensVLM 则达到52.1%。虽然与完整文本参照仍有差距，选页后展开阅读，显著缓解了高压缩带来的准确率下降。

不过，展开原文也会消耗输入预算，不能只计算最初的图像有多小。论文因此报告了 “有效压缩率”：用原文 token 数，除以压缩图像与展开内容合计的输入 token 数。

计入展开开销后，5×、10×、15× 三个初始设置，对应的有效压缩率分别为4.3×、7.4×、10.1×。

七项文本问答评测的平均准确率与有效压缩率。横轴计入展开后的输入，展示不同方法在准确率与输入预算之间的权衡。

长上下文的速度与成本

在32K–140K token的长上下文、15× 初始压缩设置下，全文输入的端到端延迟为3.62 秒，LensVLM 为2.83 秒。提前离线渲染并缓存页面图像后，延迟进一步降至2.52 秒，较全文输入减少约 30%。

同一设置下，LensVLM 的峰值 KV 缓存约为全文输入的十四分之一。在饱和并发测试中，页面预缓存版本的吞吐量约为全文输入的3.7 倍；按每 GPU 小时 6 美元估算，每千次请求的 GPU 服务成本降低约73%。

短上下文中，直接输入全文仍然更快。这套方案的优势主要体现在长文档，以及能够复用页面图像的多次查询场景。

端到端效率与延迟。页面预缓存版本使用提前离线渲染的图像，吞吐量在饱和并发下测量。

PDF 该展开成什么？

纯文本页面可以直接返回原文，原生 PDF 却还包含表格、图形和布局。只提取文字，可能漏掉回答需要的视觉信息。

研究另外训练了两种文档理解变体：一种将页面展开为 OCR 文字，另一种返回高清页面，并在 MMLongBench-Doc 上进行评测。

在页面像素数缩减 15 倍的设置下，直接阅读压缩页面的准确率为31.1%，OCR 展开变体为32.1%，高清页面展开变体则达到41.9%，对应10.3倍有效压缩。

在这项评测中，高清页面保留的图表和布局信息，比 OCR 文字更有帮助，但也带来更多输入开销。展开形式需要随内容选择：由纯文本渲染的页面适合返回原文，依赖视觉信息的文档则更适合返回高清页面。

总结

LensVLM 的核心，是让模型在阅读压缩内容时，仍能按需查阅原文。模型先浏览全篇，再把阅读预算用在当前问题需要的页面上。当模型的上下文不断增长，如何让模型主动分配阅读预算，决定哪些内容先粗看、哪些需要细读、何时回头查阅，可能会成为与扩展上下文窗口同样重要的研究方向。

作者介绍

Roy Xie（谢若宇），杜克大学计算机科学博士生，主要研究基础模型后训练，以及长程任务推理与工具使用。获美国国家科学基金会（NSF）研究生奖学金及苹果 AI/ML 博士奖学金。曾在苹果基础大模型后训练团队实习，现为谷歌研究院研究实习生。个人主页：royxie.com