网易首页 > 网易号 > 正文 申请入驻

InfluxDB 3.12 升级至 DataFusion 52:并行批量导入、分布式压缩与模式强制补齐企业级能力

0
分享至

2026 年 10 月 5日,InfluxData发布InfluxDB 3.12。作为 InfluxDB 3系列继 3.11 性能升级之后的又一次迭代,该版本主要面向企业版 InfluxDB 3 Enterprise,在批量数据导入吞吐、后台压缩的横向扩展性、写入端的数据模式约束,以及访问权限治理四个方面进行了增强。

同时,InfluxDB 3 Core 与 Enterprise 两个版本的查询内核同步升级至 Apache DataFusion 52,在连接、CASE 表达式与查询规划方面获得进一步性能收益。

从行业视角看,InfluxDB是时序数据库(Time-Series Database)及广义流数据库(Streaming Database)赛道的主要开源产品之一,长期应用于物联网、基础设施监控、工业遥测与实时分析场景。本次更新延续了 InfluxDB 3 系列自 Rust 重写以来的技术路线——以 Apache Arrow、DataFusion与Parquet构成的现代开源数据栈为底座,在维持高吞吐写入与低延迟查询能力的同时,持续补齐企业级的数据治理、安全管控与横向扩展能力。

要评估这次版本迭代的实际价值,需要先理解流数据库所处理的数据特征、当前的主要产品格局,以及开源流数据库近年来的整体演进方向。

1.认识流数据库:为"永不停歇的数据"而生

我们熟悉的 MySQL、PostgreSQL 这类传统关系型数据库,擅长处理"已经发生、相对稳定"的业务数据——订单、账户、用户信息。但在物联网(IoT)、实时监控、金融行情、工业遥测、DevOps 可观测性等场景里,数据不是一批批写进去的,而是像水流一样持续不断地涌来:传感器每秒上报温度、服务器每秒吐出指标、车辆每秒回传位置、交易系统每秒产生行情报价。

这类数据有几个鲜明特征:写入吞吐极高、几乎只追加不修改、天然带时间戳、查询多按时间窗口聚合、旧数据会随时间降采样甚至过期。用传统数据库硬扛这类负载,很快就会遇到写入瓶颈、存储膨胀和查询变慢的问题。

流数据库正是为处理这类"运动中的数据"而设计。它通常以时间序列(time-series)为核心数据模型,具备高吞吐写入、高效压缩、按时间窗口实时聚合、降采样与保留策略、以及低延迟查询等能力。近年来,流数据库的概念还在向更广义的方向演进——不再只是"存时间序列",而是要能同时处理实时流入的数据与已经沉淀的历史数据,让开发者用一条 SQL 就能同时查询"此刻"和"过去"。

2.流数据库的主要产品与开源生态

目前在流数据库 / 时序数据库领域,已经形成了一个活跃的开源与商业并存的产品矩阵:

国际主流开源产品:

• InfluxDB(InfluxData):本次更新的主角,开源时序数据库的标杆,广泛用于 IoT、监控、工业遥测与实时分析。3.x 版本用 Rust 重写,构建在 Apache Arrow、DataFusion 与 Parquet 生态之上,正从"时序数据库"向"流数据库"演进。

• TimescaleDB:基于 PostgreSQL 扩展的时序数据库,保留完整 SQL 能力,适合已有 Postgres 技术栈的团队。

• QuestDB:高性能开源时序数据库,主打极低延迟的 SQL 摄入与查询,在金融与加密行情场景表现突出。

• ClickHouse:开源列式分析数据库,虽非纯时序库,但因极致的实时聚合性能,常被用于流式数据的实时分析。

• Apache Druid / Apache Pinot:开源实时 OLAP 引擎,擅长高并发、低延迟的多维实时分析,广泛用于用户行为分析与广告实时看板。

• RisingWave:开源流数据库,PostgreSQL 兼容,专注于流式增量计算与物化视图。

• Materialize:基于 SQL 的流式数据库,以增量视图维护为核心,让开发者用标准 SQL 处理流数据。

国内代表:

• TDengine:国产开源时序数据库,针对物联网、工业互联网、车联网等场景优化,在中国工业与 IoT 市场落地广泛。

商业/专有强者:

• kdb+:金融行业的高性能时序数据库,长期服务于高频交易与行情分析。

InfluxDB 的独特位置在于:它既有深厚的开源社区与广泛的开发者基础(开源版),又通过 Enterprise 版本提供企业级的高可用、安全管控与横向扩展能力。这次 3.12 的更新,正是沿着"让流数据库既跑得快、又管得住、还能横向扩展"的路线推进。



3.InfluxDB 3.12 的核心升级

在上述背景下,3.12 带来的每一项改进都指向明确的工程痛点。

批量导入提速约 3 倍,且并行扩展

据 InfluxData 称,InfluxDB 3.12 使 Parquet 的批量导入速度大约快了三倍。导入现在以并行方式运行,因此会随硬件配置自动扩展。对于需要回填历史数据、迁移存量数据或做大规模初始化的团队,这直接把"等导入"的时间压缩到原来的三分之一。

导入更安全:不再需要管理员令牌

过去批量导入往往需要管理员令牌,权限过大、风险集中。3.12 改为对目标数据库的写权限进行授权——执行回填的凭证只拥有它正在加载的那份数据的访问权限。权限收敛到最小必要范围,安全性显著提升。

分布式压缩进入 Beta,可水平扩展

压缩(compaction)负责在后台把新写入的数据组织成高效文件,是保持查询速度的关键机制。3.12 推出分布式压缩(Beta),让压缩本身也能横向扩展:当压缩需要更多容量时,只需添加以"compact 模式"运行的节点,协调节点会把作业分配到这些节点之间;如果某个 compact 节点在作业中途退出,工作会在下一个调度周期自动重新分配。这意味着压缩不再是单节点的瓶颈。

逐数据库模式强制,把错误拦在写入时

3.12 允许用户在关键位置锁定模式(schema)。错误数据在写入时就被发现,甚至在它到达仪表盘、查询或下游用户之前就被拦截。这避免了"脏数据先落库、后清洗"的被动局面,对数据质量要求高的生产环境尤为关键。

RBAC 正式可用(GA)

基于角色的访问控制(RBAC)在 InfluxDB 3 Enterprise 中正式可用。团队可以按用户和角色管理访问权限,而不必逐一追踪单个令牌。用户可以使用令牌、密码或单点登录(SSO)登录;管理员通过资源管理器(Resource Manager),可在同一查询位置直接管理用户及其角色。权限管理从"追着令牌跑"变成"按角色统一治理"。

Explorer 可视化与易用性增强

资源管理器界面推出一系列更新:Explorer 新增六种可视化类型——区域、单一属性、计量表、饼图、散点和排名,让实时数据的呈现方式更丰富。新增的 SQL 解释(SQL Explain)功能可显示查询的具体执行逻辑,便于在正式依赖某条查询前先检查其行为。新部署现在预配置资源管理器,第一个查询不必再等待连接参数。

处理引擎可独立运行,插件更稳

处理引擎(Processing Engine)现在可以作为独立进程运行,团队可以部署自定义的 Python 插件,而不必担心它们影响数据库稳定性。这对需要在数据入库前后做自定义计算、清洗或富化的场景非常实用。

内核升级至 Apache DataFusion 52

InfluxDB 3 Core 与 Enterprise 现已运行在 Apache DataFusion 52 之上,在连接(joins)、CASE 表达式和查询规划方面又获得了一轮查询性能提升。底层引擎的持续跟进,是查询性能长期受益的保障。

4.开源流数据库的发展趋势

观察 InfluxDB 这几个版本的演进,可以清晰看到开源流数据库的三个发展方向:

第一,用现代开源计算引擎重构内核。 InfluxDB 3 用 Rust 重写,并深度绑定 Apache Arrow(内存列式格式)、Apache DataFusion(查询引擎)与 Apache Parquet(列式存储格式)。本次升级到 DataFusion 52,继续在连接、CASE 表达式和查询规划上获益。Rust + Arrow + DataFusion + Parquet 这套组合,已经成为新一代高性能数据系统的主流底座。

第二,流数据与湖仓数据融合。 现代流数据库不再孤立,而是要与数据湖里的 Parquet、Iceberg 等开放格式互通,让实时数据与历史归档数据在同一个引擎里被查询。这与我们看到的 Amazon Aurora PostgreSQL 直接查询 Iceberg/Parquet 的趋势一致——"数据不动、计算就近"正在成为共识。

第三,企业级能力下沉到开源架构。 早期开源数据库往往"跑得起来、管不精细"。如今像 InfluxDB 3.12 这样,把 RBAC、模式强制、分布式压缩等过去只在商业闭源库中常见的治理能力,以开源友好的方式做进产品,说明开源流数据库正在从"开发者玩具"走向"生产级核心基础设施"。



5.流数据库正在成为实时业务的"标配底座"

InfluxDB 3.12 的发布,表面是一次版本迭代,实质映射了流数据库赛道的主线逻辑:更快地摄入、更稳地压缩、更细地治理、更开放地兼容。

从 3.11 的性能跃升,到 3.12 的批量导入 3 倍提速、分布式压缩、模式强制与 RBAC 转正,InfluxData 正在把企业最关心的"快、稳、安全、可扩展"四件事逐一夯实。同时,借助 Apache Arrow、DataFusion、Parquet 这一整套开源现代数据栈,InfluxDB 也站在了整个开源数据基础设施的肩膀上,与数据湖、实时分析、AI 代理等新兴场景自然衔接。

在 IoT、实时监控、工业遥测与 AI 应用持续爆发的今天,谁掌握了"持续流动的数据",谁就掌握了实时决策的主动权。InfluxDB 3.12 所代表的,正是开源流数据库迈向生产级核心基础设施的又一次扎实进化。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
姆巴佩在中国市场彻底凉了!中国商业代言基本归零,触碰民族红线,不是一句道歉就万事大吉

姆巴佩在中国市场彻底凉了!中国商业代言基本归零,触碰民族红线,不是一句道歉就万事大吉

开成运动会
2026-11-04 21:48:21
补时绝杀!巴尔韦德炸裂世界波,皇马惊险逆袭,欧冠豪取4连胜

补时绝杀!巴尔韦德炸裂世界波,皇马惊险逆袭,欧冠豪取4连胜

足球狗说
2026-11-05 03:40:44
《空枪》卫诗雅穿空姐制服美到刷屏,可真实的她拿情报换1.7亿,花200万买无罪,带20亿离场,电影只拍了她一件外套

《空枪》卫诗雅穿空姐制服美到刷屏,可真实的她拿情报换1.7亿,花200万买无罪,带20亿离场,电影只拍了她一件外套

陌上初安j
2026-10-30 03:44:53
418名女子遭男子迷奸,2016年还被拍了不雅视频,要随叫随到要不就曝光

418名女子遭男子迷奸,2016年还被拍了不雅视频,要随叫随到要不就曝光

汉史趣闻
2026-11-02 10:42:51
宁可被骂也无所谓了!惠州女孩月薪3000扛不住6000房贷,发视频喊话国外前男友回来收回房子。

宁可被骂也无所谓了!惠州女孩月薪3000扛不住6000房贷,发视频喊话国外前男友回来收回房子。

捣蛋窝
2026-09-09 13:59:20
45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

轩逸阿II
2026-10-17 07:39:17
继父养了我20年,拆迁分3套房他一间没要,只拿走了一张老照片

继父养了我20年,拆迁分3套房他一间没要,只拿走了一张老照片

真实人物采访
2026-11-03 11:40:19
“十岁女孩长这样,天塌了”,家长晒低审美照片,刷新了网友认知

“十岁女孩长这样,天塌了”,家长晒低审美照片,刷新了网友认知

世界圈
2026-10-31 18:22:13
16GB+ 1TB!新机官宣:11月5日,正式发售!

16GB+ 1TB!新机官宣:11月5日,正式发售!

科技堡垒
2026-11-03 08:00:43
短剧演员刘念被曝涉嫌私下瓜分商单款超百万,其经纪公司报案

短剧演员刘念被曝涉嫌私下瓜分商单款超百万,其经纪公司报案

韩小娱
2026-11-04 17:07:28
99%的人不懂的人性现实:不要在众人面前让人下不来台,给他人留面子,就是给自己留余地

99%的人不懂的人性现实:不要在众人面前让人下不来台,给他人留面子,就是给自己留余地

清风拂心
2026-10-24 09:15:29
钢琴家和性感老婆谈崩了!

钢琴家和性感老婆谈崩了!

八卦疯叔
2026-11-04 10:31:32
与郭京飞分手,嫁二婚带娃张国强甘为贤内助,难怪丈夫一年10部戏

与郭京飞分手,嫁二婚带娃张国强甘为贤内助,难怪丈夫一年10部戏

仙味少女心
2026-11-04 08:04:47
湖南知青抛弃丈夫和孩子回城,临走前脱掉衣服:让我们好好告个别

湖南知青抛弃丈夫和孩子回城,临走前脱掉衣服:让我们好好告个别

兰姐说故事
2025-01-27 15:10:03
深度 “蓝色浪潮”汹涌,一夜间国会“变天”,特朗普第二任期的转折点来了?

深度 “蓝色浪潮”汹涌,一夜间国会“变天”,特朗普第二任期的转折点来了?

上观新闻
2026-11-04 20:55:39
陕西省教育厅深夜发布情况通报:已成立联合调查组,将依法依规处理

陕西省教育厅深夜发布情况通报:已成立联合调查组,将依法依规处理

政知新媒体
2026-11-05 07:26:41
一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

音乐时光的娱乐
2026-10-12 12:28:25
监狱里面的服刑人员,是如何解决生理需求的呢?在女监里,这几乎是个禁忌

监狱里面的服刑人员,是如何解决生理需求的呢?在女监里,这几乎是个禁忌

民生故事会
2026-11-02 12:11:00
前申花助教:中国球员完全不想留洋 中国人不珍惜健康 我不吃中国菜

前申花助教:中国球员完全不想留洋 中国人不珍惜健康 我不吃中国菜

风过乡
2026-11-04 08:08:39
常冰玉状态爆棚!轰13杆破百+展望半决赛,丁俊晖回应缺乏求胜欲

常冰玉状态爆棚!轰13杆破百+展望半决赛,丁俊晖回应缺乏求胜欲

排球黄金眼
2026-11-05 04:40:58
2026-11-05 08:00:49
数据Wave incentive-icons
数据Wave
专注IT领域 洞察产业发展
1048文章数 769关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

特朗普中期选举失利后首次露面:若遭弹劾将摧毁民主党

头条要闻

特朗普中期选举失利后首次露面:若遭弹劾将摧毁民主党

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

甩掉周一围嫁富豪,童蕾今负债亿元,

财经要闻

苹果“躺赢”了英伟达

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

房产
亲子
本地
数码
公开课

房产要闻

7宗核心靓地蓄势待发!荔湾、番禺、黄埔、白云齐上阵

亲子要闻

提升性生活质量,如何应对产后性欲下降?

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

平板危险了?华为新品“仙本那”曝光:电脑、平板、手机三合一

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版