150+模型全景梳理，结构化数据基础模型：表格、时序与图的统一视角

大语言模型与视觉基础模型已经验证了一条重要路径：先在大规模、多样化数据上预训练，再通过微调、提示或上下文学习适配下游任务。但在金融风控、能源预测、推荐系统、分子发现等真实场景中，真正支撑决策的往往不是自然语言或像素，而是表格、时间序列与图等结构化数据。与文本和图像相比，结构化数据面临更复杂的问题：表格依赖 Schema，时间序列具有明确的时间顺序与动态过程，图则依赖节点、边与高阶拓扑关系。它们不仅结构差异巨大，甚至连什么算一个 token都没有统一答案。

近期，Sun 等人推出综述 A Survey on Foundation Models for Structured Data: Tabular, Time Series, and Graphs，系统梳理 150+ 个代表性方法，并从 Tokenization、Architecture、Pre-training、Adaptation 等维度，将 Tabular、Time Series 和 Graph 三条长期相对独立的发展路线放入同一分析框架。本文将围绕这套统一视角，对结构化数据基础模型的发展脉络、代表性方法及未来方向进行梳理。

论文标题：
A Survey on Foundation Models for Structured Data: Tabular, Time Series, and Graphs
论文链接：
https://doi.org/10.20944/preprints202605.1532.v1
仓库链接：
https://github.com/RingBDStack/awesome-structured-data-FM

一、为什么结构化数据

需要自己的基础模型？

基础模型在语言和视觉中的成功，依赖几个重要前提：输入表示相对统一、存在较规范的 Tokenization，并且可以利用较稳定的归纳偏置进行大规模预训练。结构化数据则明显不同。

图1：非结构化与结构化数据对比

综述指出，结构化数据会系统性地打破这些假设：数据异质导致归纳偏置碎片化，表格单元格、时间点和图节点又缺少像文本 Token 或图像 Patch 那样规范的 Tokenization，结构语义还与任务高度耦合。因此，结构化基础模型的核心问题便是：如何同时实现统一表示与结构归纳偏置保留。

二、一套贯穿三类数据的统一分析框架

不同于以往分别讨论表格、时序或图的单模态综述，该综述将三类数据放在同一套框架下比较。

图2：结构化数据基础模型的统一分析框架

该综述从 Tokenization、Architecture、Pre-training、Adaptation 四个维度统一梳理现有方法。从这一视角看，Tabular、Time Series 与 Graph 虽然结构不同，但实际上都在回答类似的问题：如何将复杂结构抽象为可学习表示，并让预训练得到的知识跨数据集、跨领域、跨任务复用。

三、表格基础模型：

从“每张表训练一个模型”走向迁移与 ICL

Tabular Foundation Model（TFM）的目标，是从大规模表格或任务分布中学习可迁移知识，并在面对新的 Schema、数据集和任务时快速适配。代表性方法的数据来源、预训练目标、Tokenization 与适配方式如下表所示。

图3：代表性表格基础模型

值得注意的是，TFM 正在逐渐改变传统表格机器学习的使用方式。 以 TabPFNv2、TabICL 等为代表的方法可以直接将训练样本和标签作为上下文，在一次前向传播中对新样本进行预测，而无需针对每个数据集重新训练完整模型。这使得表格学习从传统的：新数据集 → 重新训练模型逐步出现另一种范式：预训练模型 + 上下文样本 → 直接完成新任务。对于小样本、标签昂贵或任务频繁变化的场景，这类 ICL 能力尤其值得关注。

四、时序基础模型：

Point、Patch 还是 Temporal Feature？

Time Series Foundation Model（TSFM）希望从大规模时间序列中学习可迁移的时间先验，并跨领域、跨数据集甚至跨任务泛化。现有预训练数据仍以金融、能源、交通、气候等真实多域时间序列为主，也有 ForecastPFN 等工作使用合成数据扩大预训练分布。

图4：代表性时序基础模型

从中可以看到，Tokenization 粒度（Point、Patch 或 Temporal Feature）和架构选择（Transformer-based 或 LLM-based）共同决定了模型如何看见时间结构。不过，目前多数 TSFM 仍首先聚焦 Forecasting。能够同时支持分类、插补、异常检测等多类任务的模型相对更少，因此跨任务统一仍是当前的重要挑战。

五、图基础模型：

如何让结构本身成为可迁移知识？

Graph Foundation Model（GFM）需要在分子图、引文网络、社交网络、知识图谱等不同类型的图之间学习可迁移表示。 与表格和时序相比，图的结构空间更加开放。不同图中的节点、边和子结构语义可能完全不同，因此 GFM 的关键问题之一是：什么样的结构单元可以成为跨域迁移的 Token？

图5：代表性图基础模型

现有方法在 Tokenization 上覆盖图结构 Token、辅助抽象 Token 和语言/序列 Token，架构上则形成 GNN-based、LLM-based 与 GNN–LLM Hybrid 三条路线。 GFM 的另一个明显趋势是不断降低下游适配成本。Prompt、轻量微调、Instruction Tuning、ICL，以及 OpenGraph、ZeroG、GraphAny 等 Zero-shot / Adaptation-free 路线都在探索：能否在面对未见过的新图时，尽量不重新训练模型。

近期，GFM 还开始进一步进入图推理与 GraphRAG 场景。相关研究从结构化知识上的上下文推理，逐渐发展到使用预训练 GFM 检索关键子图、支持多跳关系推理，再与 LLM 结合完成更复杂的推理任务。这使得 GFM 的角色开始从“通用图编码器”，扩展为结构化检索与关系推理模块。

六、三类 Foundation Model

的共性与差异

将三类结构化 Foundation Model 放在一起，可以得到如下对比：

从现有工作来看，表格、时序和图基础模型并不是三条完全独立的技术路线。它们虽然采用不同的结构表示和模型架构，但都需要解决通用预训练与结构特性保留之间的平衡问题。

七、开放挑战与未来方向

综述最后讨论了结构化数据基础模型的几个开放问题，主要包括 Scaling Law、统一建模，以及与 LLM、VLM 和 Agent 系统的协同。

7.1 Scaling Law

结构化数据具有明显的 Schema 依赖、时间动态和关系拓扑，其扩展规律可能不同于语言和视觉模型。后续研究需要进一步分析模型规模、数据规模与结构复杂度、归纳偏置之间的关系，并关注 Grokking、突然泛化等训练现象。

7.2 统一的 Structured Foundation Model

目前 Tabular、Time Series 和 Graph Foundation Model 仍大多分别发展。统一建模需要进一步解决三方面问题：一是设计能够表示行、时间戳、节点、边等对象的统一 Token 接口；二是构建可组合时间编码、关系推理和特征交互模块的架构；三是探索能够跨模态共享的结构预训练目标。 已有工作开始尝试不同结构模态之间的迁移，例如使用 Tabular Foundation Model 处理图任务，或将 Graph Foundation Model 用于时间序列分析。

7.3 与 LLM、VLM 和 Agent 系统协同

目前常见做法是将结构化数据序列化后输入 LLM，但这一过程可能损失原有的 Schema、时间约束和关系信息。 后续研究可以进一步探索不同 Foundation Model 的协同方式：LLM 和 VLM 提供语义理解与感知能力，Structured Foundation Model 则负责关系推理、约束建模和时间动态分析。在 Agent 场景中，这类结构建模能力还可以用于状态追踪、规划和工具协调。

Illustration From IconScout By IconScout Store

9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀 精英晚宴」

免费报名，期待线下见面！

北京时间9月25日(周五) 12:00截止报名

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈