网易首页 > 网易号 > 正文 申请入驻

Cursor 使用基于 S3 的 WAL,将 Git 存储扩展到每秒 300 多次 Push

0
分享至


作者 | Leela Kumili

译者 | 马可薇

Cursor 开发的 Git 存储架构 Continuity,可以用 S3 上的预写日志(Write-Ahead Log,WAL)作为数据的最终依据,而不再依靠副本之间的协调来保证一致性。在合成测试中,Cursor 在最多使用 100 个副本时,读取能力能够随副本数量线性增长;使用 S3 Express One Zone 时,每秒处理的 Push 请求超过 300 次。这套架构既能应对 CI 负载繁重的大型代码仓库,也能支持 Coding Agent 创建的大量小型仓库。

要支撑大规模 Git 托管,离不开本地 Git 仓库和 packfile(打包文件)。GitHub 的 Spokes 架构 通过维护多个 NVMe 副本来提供存储能力,并使用 三阶段提交 更新 Git 引用。各副本由此保持同步,读取请求也可以交给任意一个副本处理。不过,副本越多,协调操作带来的开销就越大。

Continuity 采用了不同的思路:将 S3 上的 WAL 作为持久化存储的事实来源。Cursor 会把 Push 上传的数据写入 S3,并将相应的引用更新记录到 WAL 中。只有所需数据完成持久化后,系统才会确认 Push 成功,确保请求得到确认时,数据已经可靠存储。此外,Cursor 还会对操作进行批处理,降低 S3 PUT 请求的延迟对吞吐量的影响。


Continuity 架构(来源:Cursor 博客)

Cursor 工程师 Vicent Martí 表示,本地 NVMe 上的 Git 仓库只是温缓存,并非权威副本。系统通过 Rendezvous Hashing(会合哈希)选择优先处理请求的节点,同时利用 S3 上的原子比较并交换(Compare-and-Swap)操作,让任意服务器都能接受 Push 请求。如果本地没有相应的仓库副本,系统也可以根据 WAL 重新生成仓库。

WAL 更新通过 UDP Gossip 协议在节点间传播,系统则通过带条件的 S3 读取来校验副本状态。Cursor 称,这类读取的平均耗时不到 10 毫秒。即使 Gossip 消息丢失,也不会影响数据正确性,因为 S3 始终是事实来源。

这种存储设计也引发了与数据库架构的比较。高级软件工程师 Maksim Al Dandan 在 相关讨论 中指出,Continuity 相当于把 Git 存储当作数据库来设计。在这一思路下,Push 的一致性保证、Force Push 涉及的事务,以及时间点恢复(Point-in-Time Recovery)等问题,都值得进一步关注。


Continuity 的 Push 流程(来源:Cursor 博客)

Casey Lee 是 Liatrio 的 CTO,曾在 AWS 工作。他在 相关评论 中强调了这一架构转变:S3 中的 WAL 才是事实来源,本地 NVMe 只负责缓存。Lee 同时指出,Cursor 公布的性能数据尚未经过独立验证。

Continuity 也改变了副本扩展和 Git 压缩的处理方式。Cursor 表示,单体仓库(monorepo)可以为 CI 工作负载扩展到数百个副本;对于暂时没有活动的仓库,则可以等到需要时再生成本地副本。Git 压缩只由主副本执行,其他副本直接从 S3 下载压缩后生成的 packfile。这样做减少了重复的 CPU 开销,但会增加带宽消耗。

在使用 Cursor 自己的 everysphere 单体仓库进行的合成测试中,使用 S3 Standard 时,系统每秒最多可处理 120 次 Push;换用 S3 Express One Zone 后,每秒处理量超过 300 次。当吞吐量进一步提高时,Git 压缩成为新的性能瓶颈。Cursor 表示,测试中的 Push 操作满足线性一致性要求,且数据在请求得到确认前就已持久化到外部存储;Clone 操作也始终保持一致性。

Continuity 将一致性保障的核心从副本层转移到了持久化对象存储。它不再要求多个副本通过同步协调来维持一致状态,而是让各个本地仓库独立地向 S3 中记录的状态收敛。相应地,系统需要依靠存储校验和异步传播来保证副本状态,并付出额外的带宽成本,以减少副本之间的协调开销。

查看英文原文:

Cursor Uses S3 WAL to Scale Git Storage to More than 300 Pushes per Second(https://www.infoq.com/news/2026/09/cursor-continuity-git-storage/)

声明:本文为 InfoQ 翻译,未经许可禁止转载。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

一丝不苟的法律人
2026-10-16 12:40:23
内讧?被轰0-11后,张本智和疑遭嫌弃:日本队友+教练撇下他先行离场

内讧?被轰0-11后,张本智和疑遭嫌弃:日本队友+教练撇下他先行离场

我爱英超
2026-10-22 16:40:47
3600点,大暑之后必有大寒

3600点,大暑之后必有大寒

拾榴询财
2026-10-22 21:11:05
午评|彻底崩了!A股全线破位!怎么办?

午评|彻底崩了!A股全线破位!怎么办?

龙行天下虎
2026-10-23 11:44:50
首秀就疯!45分7板6助,改写31年历史纪录,灰熊922万捡到宝

首秀就疯!45分7板6助,改写31年历史纪录,灰熊922万捡到宝

大西体育
2026-10-22 11:03:26
就在刚刚,北爱尔兰公开赛八强出炉,中国选手14人全部出局,奖金分配公布

就在刚刚,北爱尔兰公开赛八强出炉,中国选手14人全部出局,奖金分配公布

锐评利物浦
2026-10-23 09:34:42
金晨现身西安,生图脸浮肿嘴巴歪斜,被身旁的170cm央视主持抢镜

金晨现身西安,生图脸浮肿嘴巴歪斜,被身旁的170cm央视主持抢镜

娱说瑜悦
2026-10-22 17:10:31
问界 M9 撞击起火引舆情 官方回应引争议

问界 M9 撞击起火引舆情 官方回应引争议

中车网评
2026-10-22 17:39:34
肺很喜欢的 1 个中成药:越吃肺气越足,咳痰变少,喘气顺畅!

肺很喜欢的 1 个中成药:越吃肺气越足,咳痰变少,喘气顺畅!

医学科普汇
2026-10-22 22:40:04
长大后才后知后觉郑渊洁童话的含金量,全是细糠!

长大后才后知后觉郑渊洁童话的含金量,全是细糠!

夜深爱杂谈
2026-10-18 11:47:29
76人29分逆转创4纪录,马克西赛后摊牌!老詹及时改错,布朗两点成关键

76人29分逆转创4纪录,马克西赛后摊牌!老詹及时改错,布朗两点成关键

鱼崖大话篮球
2026-10-23 10:57:03
二胎、三胎催生无果,国家换思路!马光远"新方案"得到支持

二胎、三胎催生无果,国家换思路!马光远"新方案"得到支持

乐悠悠娱乐
2026-10-21 14:45:02
彻底没悬念!39岁梅西统治美职联,史无前例三连MVP稳了

彻底没悬念!39岁梅西统治美职联,史无前例三连MVP稳了

圣西罗的太阳
2026-10-22 12:36:48
“外交男神”王毅年轻旧照曝光,与妻子罕见同框,岳父曾任周总理秘书!

“外交男神”王毅年轻旧照曝光,与妻子罕见同框,岳父曾任周总理秘书!

微野谈写作
2026-10-15 08:50:08
日本,终于喊疼了

日本,终于喊疼了

心花手中开
2026-10-22 20:00:10
39 18!骑士击溃76人 米切尔哈登双星闪耀,詹姆斯失误不断

39 18!骑士击溃76人 米切尔哈登双星闪耀,詹姆斯失误不断

小桥流水q
2026-10-23 08:15:13
好奇查了一下陈宇昕的家境,原来他从小就在国外留学是有原因的

好奇查了一下陈宇昕的家境,原来他从小就在国外留学是有原因的

皮蛋儿电影
2026-10-20 09:58:37
50岁赵薇面相变了,时隔多年仍想复出!坦言在家会写一些剧本!

50岁赵薇面相变了,时隔多年仍想复出!坦言在家会写一些剧本!

娱乐团长
2026-10-23 10:07:52
首批iPhoneDuo仅被黄牛加价2000元回收:就这行情了 再高了没办法要

首批iPhoneDuo仅被黄牛加价2000元回收:就这行情了 再高了没办法要

快科技
2026-10-23 09:16:08
电车渗透率超60%不可怕,可怕的是:我们手中的油车会很难卖掉

电车渗透率超60%不可怕,可怕的是:我们手中的油车会很难卖掉

沙雕小琳琳
2026-10-21 11:38:49
2026-10-23 12:32:49
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13106文章数 52118关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

牛弹琴:普京最新表态砍出五刀 一刀更比一刀狠

头条要闻

牛弹琴:普京最新表态砍出五刀 一刀更比一刀狠

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

娃哈哈集团董事长许思敏离职

汽车要闻

奥迪中国换帅 张俊任总裁 鲁文墨代理奥迪运动业务

态度原创

家居
房产
教育
时尚
健康

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

租金大跳水!荒了6年,海口这个地标商业,开始急了!

教育要闻

越解越乱,真难啊,有好方法吗

“风衣+裙子”才是今年秋天绝美搭配,这样搭显瘦还时髦

痘痘能根治吗?皮肤科医生说实话

无障碍浏览 进入关怀版