网易首页 > 网易号 > 正文 申请入驻

InfluxDB 3.12 升级至 DataFusion 52:并行批量导入、分布式压缩与模式强制补齐企业级能力

0
分享至

2026 年 10 月 5日,InfluxData发布InfluxDB 3.12。作为 InfluxDB 3系列继 3.11 性能升级之后的又一次迭代,该版本主要面向企业版 InfluxDB 3 Enterprise,在批量数据导入吞吐、后台压缩的横向扩展性、写入端的数据模式约束,以及访问权限治理四个方面进行了增强。

同时,InfluxDB 3 Core 与 Enterprise 两个版本的查询内核同步升级至 Apache DataFusion 52,在连接、CASE 表达式与查询规划方面获得进一步性能收益。

从行业视角看,InfluxDB是时序数据库(Time-Series Database)及广义流数据库(Streaming Database)赛道的主要开源产品之一,长期应用于物联网、基础设施监控、工业遥测与实时分析场景。本次更新延续了 InfluxDB 3 系列自 Rust 重写以来的技术路线——以 Apache Arrow、DataFusion与Parquet构成的现代开源数据栈为底座,在维持高吞吐写入与低延迟查询能力的同时,持续补齐企业级的数据治理、安全管控与横向扩展能力。

要评估这次版本迭代的实际价值,需要先理解流数据库所处理的数据特征、当前的主要产品格局,以及开源流数据库近年来的整体演进方向。

1.认识流数据库:为"永不停歇的数据"而生

我们熟悉的 MySQL、PostgreSQL 这类传统关系型数据库,擅长处理"已经发生、相对稳定"的业务数据——订单、账户、用户信息。但在物联网(IoT)、实时监控、金融行情、工业遥测、DevOps 可观测性等场景里,数据不是一批批写进去的,而是像水流一样持续不断地涌来:传感器每秒上报温度、服务器每秒吐出指标、车辆每秒回传位置、交易系统每秒产生行情报价。

这类数据有几个鲜明特征:写入吞吐极高、几乎只追加不修改、天然带时间戳、查询多按时间窗口聚合、旧数据会随时间降采样甚至过期。用传统数据库硬扛这类负载,很快就会遇到写入瓶颈、存储膨胀和查询变慢的问题。

流数据库正是为处理这类"运动中的数据"而设计。它通常以时间序列(time-series)为核心数据模型,具备高吞吐写入、高效压缩、按时间窗口实时聚合、降采样与保留策略、以及低延迟查询等能力。近年来,流数据库的概念还在向更广义的方向演进——不再只是"存时间序列",而是要能同时处理实时流入的数据与已经沉淀的历史数据,让开发者用一条 SQL 就能同时查询"此刻"和"过去"。

2.流数据库的主要产品与开源生态

目前在流数据库 / 时序数据库领域,已经形成了一个活跃的开源与商业并存的产品矩阵:

国际主流开源产品:

• InfluxDB(InfluxData):本次更新的主角,开源时序数据库的标杆,广泛用于 IoT、监控、工业遥测与实时分析。3.x 版本用 Rust 重写,构建在 Apache Arrow、DataFusion 与 Parquet 生态之上,正从"时序数据库"向"流数据库"演进。

• TimescaleDB:基于 PostgreSQL 扩展的时序数据库,保留完整 SQL 能力,适合已有 Postgres 技术栈的团队。

• QuestDB:高性能开源时序数据库,主打极低延迟的 SQL 摄入与查询,在金融与加密行情场景表现突出。

• ClickHouse:开源列式分析数据库,虽非纯时序库,但因极致的实时聚合性能,常被用于流式数据的实时分析。

• Apache Druid / Apache Pinot:开源实时 OLAP 引擎,擅长高并发、低延迟的多维实时分析,广泛用于用户行为分析与广告实时看板。

• RisingWave:开源流数据库,PostgreSQL 兼容,专注于流式增量计算与物化视图。

• Materialize:基于 SQL 的流式数据库,以增量视图维护为核心,让开发者用标准 SQL 处理流数据。

国内代表:

• TDengine:国产开源时序数据库,针对物联网、工业互联网、车联网等场景优化,在中国工业与 IoT 市场落地广泛。

商业/专有强者:

• kdb+:金融行业的高性能时序数据库,长期服务于高频交易与行情分析。

InfluxDB 的独特位置在于:它既有深厚的开源社区与广泛的开发者基础(开源版),又通过 Enterprise 版本提供企业级的高可用、安全管控与横向扩展能力。这次 3.12 的更新,正是沿着"让流数据库既跑得快、又管得住、还能横向扩展"的路线推进。



3.InfluxDB 3.12 的核心升级

在上述背景下,3.12 带来的每一项改进都指向明确的工程痛点。

批量导入提速约 3 倍,且并行扩展

据 InfluxData 称,InfluxDB 3.12 使 Parquet 的批量导入速度大约快了三倍。导入现在以并行方式运行,因此会随硬件配置自动扩展。对于需要回填历史数据、迁移存量数据或做大规模初始化的团队,这直接把"等导入"的时间压缩到原来的三分之一。

导入更安全:不再需要管理员令牌

过去批量导入往往需要管理员令牌,权限过大、风险集中。3.12 改为对目标数据库的写权限进行授权——执行回填的凭证只拥有它正在加载的那份数据的访问权限。权限收敛到最小必要范围,安全性显著提升。

分布式压缩进入 Beta,可水平扩展

压缩(compaction)负责在后台把新写入的数据组织成高效文件,是保持查询速度的关键机制。3.12 推出分布式压缩(Beta),让压缩本身也能横向扩展:当压缩需要更多容量时,只需添加以"compact 模式"运行的节点,协调节点会把作业分配到这些节点之间;如果某个 compact 节点在作业中途退出,工作会在下一个调度周期自动重新分配。这意味着压缩不再是单节点的瓶颈。

逐数据库模式强制,把错误拦在写入时

3.12 允许用户在关键位置锁定模式(schema)。错误数据在写入时就被发现,甚至在它到达仪表盘、查询或下游用户之前就被拦截。这避免了"脏数据先落库、后清洗"的被动局面,对数据质量要求高的生产环境尤为关键。

RBAC 正式可用(GA)

基于角色的访问控制(RBAC)在 InfluxDB 3 Enterprise 中正式可用。团队可以按用户和角色管理访问权限,而不必逐一追踪单个令牌。用户可以使用令牌、密码或单点登录(SSO)登录;管理员通过资源管理器(Resource Manager),可在同一查询位置直接管理用户及其角色。权限管理从"追着令牌跑"变成"按角色统一治理"。

Explorer 可视化与易用性增强

资源管理器界面推出一系列更新:Explorer 新增六种可视化类型——区域、单一属性、计量表、饼图、散点和排名,让实时数据的呈现方式更丰富。新增的 SQL 解释(SQL Explain)功能可显示查询的具体执行逻辑,便于在正式依赖某条查询前先检查其行为。新部署现在预配置资源管理器,第一个查询不必再等待连接参数。

处理引擎可独立运行,插件更稳

处理引擎(Processing Engine)现在可以作为独立进程运行,团队可以部署自定义的 Python 插件,而不必担心它们影响数据库稳定性。这对需要在数据入库前后做自定义计算、清洗或富化的场景非常实用。

内核升级至 Apache DataFusion 52

InfluxDB 3 Core 与 Enterprise 现已运行在 Apache DataFusion 52 之上,在连接(joins)、CASE 表达式和查询规划方面又获得了一轮查询性能提升。底层引擎的持续跟进,是查询性能长期受益的保障。

4.开源流数据库的发展趋势

观察 InfluxDB 这几个版本的演进,可以清晰看到开源流数据库的三个发展方向:

第一,用现代开源计算引擎重构内核。 InfluxDB 3 用 Rust 重写,并深度绑定 Apache Arrow(内存列式格式)、Apache DataFusion(查询引擎)与 Apache Parquet(列式存储格式)。本次升级到 DataFusion 52,继续在连接、CASE 表达式和查询规划上获益。Rust + Arrow + DataFusion + Parquet 这套组合,已经成为新一代高性能数据系统的主流底座。

第二,流数据与湖仓数据融合。 现代流数据库不再孤立,而是要与数据湖里的 Parquet、Iceberg 等开放格式互通,让实时数据与历史归档数据在同一个引擎里被查询。这与我们看到的 Amazon Aurora PostgreSQL 直接查询 Iceberg/Parquet 的趋势一致——"数据不动、计算就近"正在成为共识。

第三,企业级能力下沉到开源架构。 早期开源数据库往往"跑得起来、管不精细"。如今像 InfluxDB 3.12 这样,把 RBAC、模式强制、分布式压缩等过去只在商业闭源库中常见的治理能力,以开源友好的方式做进产品,说明开源流数据库正在从"开发者玩具"走向"生产级核心基础设施"。



5.流数据库正在成为实时业务的"标配底座"

InfluxDB 3.12 的发布,表面是一次版本迭代,实质映射了流数据库赛道的主线逻辑:更快地摄入、更稳地压缩、更细地治理、更开放地兼容。

从 3.11 的性能跃升,到 3.12 的批量导入 3 倍提速、分布式压缩、模式强制与 RBAC 转正,InfluxData 正在把企业最关心的"快、稳、安全、可扩展"四件事逐一夯实。同时,借助 Apache Arrow、DataFusion、Parquet 这一整套开源现代数据栈,InfluxDB 也站在了整个开源数据基础设施的肩膀上,与数据湖、实时分析、AI 代理等新兴场景自然衔接。

在 IoT、实时监控、工业遥测与 AI 应用持续爆发的今天,谁掌握了"持续流动的数据",谁就掌握了实时决策的主动权。InfluxDB 3.12 所代表的,正是开源流数据库迈向生产级核心基础设施的又一次扎实进化。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
哈兰德绝杀,曼城客场3:2力克莱比锡红牛

哈兰德绝杀,曼城客场3:2力克莱比锡红牛

本泽体育
2026-11-05 05:55:08
陕西商南发生一起重大刑案:嫌疑人携刀具潜逃,警方正全力抓捕,居民发现线索立即报警

陕西商南发生一起重大刑案:嫌疑人携刀具潜逃,警方正全力抓捕,居民发现线索立即报警

扬子晚报
2026-11-04 16:06:33
顺德钓虾场爆火背后:钓友300多元入场,钓中“标虾”或可赢得iPhone17、电动车,律师称可能涉嫌犯罪

顺德钓虾场爆火背后:钓友300多元入场,钓中“标虾”或可赢得iPhone17、电动车,律师称可能涉嫌犯罪

新京报
2026-11-04 07:53:24
年薪12万被批不尊重应届生!张雪怒怼江西都市频道:是不是有病?

年薪12万被批不尊重应届生!张雪怒怼江西都市频道:是不是有病?

江启
2026-11-04 14:00:31
两个月后,将是中华人民共和国全国、全党、全军、各族人民十分关键的一年!2027年将迎来举世关注的历史大考,三大时代节点汇聚一处

两个月后,将是中华人民共和国全国、全党、全军、各族人民十分关键的一年!2027年将迎来举世关注的历史大考,三大时代节点汇聚一处

谈史论今1
2026-11-04 21:10:48
梅西、C罗发文悼念;30岁前锋比赛中被撞后不幸去世,警方凶杀案调查组介入调查

梅西、C罗发文悼念;30岁前锋比赛中被撞后不幸去世,警方凶杀案调查组介入调查

南方都市报
2026-11-04 16:36:44
随着傅家俊3-6,赵心童3-6,斯诺克国锦赛4强全部诞生:中国2将在列

随着傅家俊3-6,赵心童3-6,斯诺克国锦赛4强全部诞生:中国2将在列

俯身冲顶
2026-11-04 22:52:21
Science头条!阉割竟能大幅延长寿命,成年后操作效果更好,男性延寿的终极方法

Science头条!阉割竟能大幅延长寿命,成年后操作效果更好,男性延寿的终极方法

iNature前沿
2026-11-03 16:00:38
溶栓冠军终于找到了!不是木耳洋葱,每天喝一杯,清血管陈年垃圾

溶栓冠军终于找到了!不是木耳洋葱,每天喝一杯,清血管陈年垃圾

宝哥精彩赛事
2026-11-02 19:55:42
中国男篮集训名单,王哲林爆冷入选,5分球员入选郭昊文遗珠

中国男篮集训名单,王哲林爆冷入选,5分球员入选郭昊文遗珠

体娱荒原
2026-11-04 23:47:05
799元!小米新品上架,11月10日,正式发货!

799元!小米新品上架,11月10日,正式发货!

科技堡垒
2026-11-04 16:34:16
斯诺克国锦赛四强出炉!中国两席,丁俊晖出局,赵心童3-6常冰玉

斯诺克国锦赛四强出炉!中国两席,丁俊晖出局,赵心童3-6常冰玉

张辱卤说体育
2026-11-05 05:30:39
再不盈利天理难容!果然,三桶油前三季度净利润超过2025年总和

再不盈利天理难容!果然,三桶油前三季度净利润超过2025年总和

正经说个事儿
2026-11-03 06:22:25
日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

扶苏聊历史
2026-10-11 11:35:08
明天起 4 部大剧扎堆开播!央视八套、江苏卫视齐上阵,题材全覆盖

明天起 4 部大剧扎堆开播!央视八套、江苏卫视齐上阵,题材全覆盖

东方不败然多多
2026-11-05 01:34:10
四川一个县,人口还没东部一个村多,全县2万多人养着一整套班子

四川一个县,人口还没东部一个村多,全县2万多人养着一整套班子

云霄纪史观
2026-11-02 13:51:15
官宣CBA第2位主帅下课!接替者是世界名帅,曾执教多家欧洲俱乐部夺冠

官宣CBA第2位主帅下课!接替者是世界名帅,曾执教多家欧洲俱乐部夺冠

老吴说体育
2026-11-04 23:50:10
梦见与异性发生关系,医生告诫:大都因为这4种原因,别傻傻不懂

梦见与异性发生关系,医生告诫:大都因为这4种原因,别傻傻不懂

路医生健康科普
2026-10-28 21:35:04
重磅:乌克兰大规模摧毁克里米亚的赫瓦尔迪斯凯机场!

重磅:乌克兰大规模摧毁克里米亚的赫瓦尔迪斯凯机场!

项鹏飞
2026-11-04 17:10:40
69岁张铁林聚餐照曝光,叼着烟斗涮铜锅,一桌老北京规矩,栽在一口烟上,网友吵翻:私人饭局该不该管

69岁张铁林聚餐照曝光,叼着烟斗涮铜锅,一桌老北京规矩,栽在一口烟上,网友吵翻:私人饭局该不该管

迪迪的娱乐故事
2026-10-19 17:09:33
2026-11-05 06:07:00
数据Wave incentive-icons
数据Wave
专注IT领域 洞察产业发展
1048文章数 769关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

甩掉周一围嫁富豪,童蕾今负债亿元,

财经要闻

苹果“躺赢”了英伟达

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

数码
亲子
健康
手机
公开课

数码要闻

5499元起!iPad mini 8明天首销:60Hz屏引发争议

亲子要闻

花了8万元坐月子,产后两个月伤口还在流脓

痘痘长到25岁还没完?查查内分泌

手机要闻

华为鸿蒙装机量本月破亿稳了:和安卓iOS三分天下已成定局

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版