网易首页 > 网易号 > 正文 申请入驻

Akka 在 65 个开源项目中测试基于规格的 AI 交付

0
分享至


作者 | Leela Kumili

译者 | 平川

Akka 利用 65 个开源项目,对一种基于规格说明的 AI 辅助软件移植工作流进行了 测试,评估内容包括:规格说明的结构、上下文、模型和工作量选择、自动化验证、token 消耗以及运行时性能。首轮测试耗时 99.3 小时,消耗了 94.1 亿个令牌。根据 Akka 的报告,在 65 个移植项目中,有 57 个在代码行数或性能方面实现了提升。

该实验分成了两个阶段。Akka 对全部 65 个项目进行了分析,生成规格说明并实现了每个项目最多 10% 的功能。随后,他们根据系统特性和可量化的结果,从中选出 10 个项目进行了完整实现。交付管控工作流循环经历了需求发现、规格定义、移植、基准测试和优化等阶段。需求发现阶段对代码、模型、模式和运行时行为进行了分析,而 Claude 配合 Akka Specify 则负责实现、测试和审查工作,然后通过一个通用的基准测试运行器,对测试、代码规模和延迟进行了比较。


Akka 的交付管控工作流(图片来源:Akka 博客)

Akka 发现,包含声明、证据和类型化行为的结构化规格说明能够改善首次实现的效果,而上下文文件中缺少了跨组件决策的内容。后续研究领域包括接口枚举、测试数据导入、溯源追踪、差异测试和对抗性测试。GitHub Spec Kit 同样围绕规格说明、规划、任务、实现和收敛这几个环节,对编码代理的工作流进行了结构化设计。在 Akka 的实验中,Sonnet 平均每项移植耗时 61 分钟,而 Opus 则为 120 分钟;但 Opus 的 token 消耗量少了大约 40%。虽然提高工作量设置会增加消耗,却并不能获得持续的效率提升。

研究结果的发布引发了工程师们的一番讨论。在 LinkedIn 上,Aaditya 在 Akka 首席执行官 Tyler Jewell 的一篇博文下 评论 道:

规模较小的模型其行为与他观察到的现代化改造工作相符,即较小的模型会严格遵循规范,而较大的模型则可能会进行即兴调整。

Aaditya 还提出了一个 问题:

代码行数的减少主要是源于死代码的移除,还是源于目标语言的差异?

在同一场讨论中,Avahi 市场部负责人 Rick Bryce提到 了一个相关的点,并指出限制条件可能会影响结果。这些评论引发了新的疑问:移植效率的差异究竟是源于模型能力、规格限制,还是两者兼而有之。

成本更低的模型能实现更精确的移植,这一发现值得深入探究。


Akka 模型与工作量效率图(图片来源: Akka 博客)

验证工作采用了原始的单元测试和集成测试,并且同时由审核人员对序列化、安全性、错误处理、个人身份信息(PII)、幂等性以及架构边界进行了检查。随着移植故障暴露出的新问题,Akka 增加了防护措施,但同时也指出,额外的退出条件增加了移植成本。性能表现因项目而异:应用程序、框架和库的性能普遍得到提升,而基础设施和工具的性能中位数则有所下降。根据 Akka 的报告,Dify 的性能提升了 143333 倍,不过所对比的工作负载存在差异;而 Netflix Metaflow 的运行速度则慢了约 100 倍。

https://www.infoq.com/news/2026/10/ai-spec-driven-delivery/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大火逼近中国,日本道歉岂能只道一半

大火逼近中国,日本道歉岂能只道一半

中国能源网
2026-10-22 17:59:09
周恩来一生最亲近的4位将帅:除了朱德、陈毅,另外两位是谁?

周恩来一生最亲近的4位将帅:除了朱德、陈毅,另外两位是谁?

章媸解说体育
2026-10-21 16:10:00
男性若有这4个爱好,往往寿命更长,占一个也不错,你有几个?

男性若有这4个爱好,往往寿命更长,占一个也不错,你有几个?

坠入二次元的海洋
2026-10-13 07:22:50
红果新剧榜杀疯了!从第10名看到第1名,老牌IP竟然集体掉队

红果新剧榜杀疯了!从第10名看到第1名,老牌IP竟然集体掉队

东方不败然多多
2026-10-22 04:39:42
还要赶走中国大使?中方称奉陪到底,大使戳破内情,菲再次绷不住

还要赶走中国大使?中方称奉陪到底,大使戳破内情,菲再次绷不住

菲菲爱电影
2026-10-22 18:48:40
左权牺牲后,抗命返回救人的警卫连长被判枪决,被彭总当场否定

左权牺牲后,抗命返回救人的警卫连长被判枪决,被彭总当场否定

凡人侃史
2026-10-22 14:06:22
苏提达离开日本,深蓝羊毛翻领外套机场告别,双重身份出访满分

苏提达离开日本,深蓝羊毛翻领外套机场告别,双重身份出访满分

春日在捕月
2026-10-23 02:13:57
我国没人情味的城市,3个城市榜上有名,有人说来了8年还像客人

我国没人情味的城市,3个城市榜上有名,有人说来了8年还像客人

丁丁鲤史纪
2026-10-17 05:31:49
梅西斩获阿斯图里亚斯公主奖!刷新足坛历史,成首位单人获奖球员

梅西斩获阿斯图里亚斯公主奖!刷新足坛历史,成首位单人获奖球员

好叫好伐
2026-10-23 15:46:51
广东省人民政府最新人事任免

广东省人民政府最新人事任免

南方都市报
2026-10-23 16:43:25
6 个降压药,3个影响性功能,3个提高性功能,您一定要知道

6 个降压药,3个影响性功能,3个提高性功能,您一定要知道

医学科普汇
2026-10-13 18:26:25
突然收到山姆召回短信,网友傻眼:已全部吃完;品牌方:立即停止食用!

突然收到山姆召回短信,网友傻眼:已全部吃完;品牌方:立即停止食用!

东莞好生活
2026-10-23 00:14:56
儿子去取母亲100万遗产,银行:需本人到场,儿子:你什么意思?

儿子去取母亲100万遗产,银行:需本人到场,儿子:你什么意思?

牛魔王与芭蕉扇
2025-04-03 11:06:16
宁波一高层住宅卧室突发火灾,火势较大,起火原因或为插座上充电头长期未拔

宁波一高层住宅卧室突发火灾,火势较大,起火原因或为插座上充电头长期未拔

黄河新闻网吕梁
2026-10-23 14:51:38
黄婷婷九年没提的名字,在后会友期观察室,被一个排名问出来了

黄婷婷九年没提的名字,在后会友期观察室,被一个排名问出来了

子夜观综记
2026-10-23 15:26:30
四川乐山一男子移花接木编造“猪瘟”谣言博流量,被行政处罚

四川乐山一男子移花接木编造“猪瘟”谣言博流量,被行政处罚

红星新闻
2026-10-23 20:41:35
社区免费体检没人去?真相不是老人糊涂,是怕得明明白白

社区免费体检没人去?真相不是老人糊涂,是怕得明明白白

偷喝一口奶
2026-08-31 08:26:56
特朗普表示,他给马斯克打电话恢复乌克兰使用星链,但乌克兰称尚未完全恢复

特朗普表示,他给马斯克打电话恢复乌克兰使用星链,但乌克兰称尚未完全恢复

山河路口
2026-10-23 13:25:39
徐帆回应离婚5个月,冯小刚近况曝光,内心早已看透一切

徐帆回应离婚5个月,冯小刚近况曝光,内心早已看透一切

往史过眼云烟
2026-10-20 09:35:06
威少谈退役原因:感觉已经很难为这项运动做得更多

威少谈退役原因:感觉已经很难为这项运动做得更多

北青网-北京青年报
2026-10-23 20:37:01
2026-10-23 21:24:49
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13107文章数 52120关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

以总理还原邀特朗普对伊动武细节:你不来 我们自己炸

头条要闻

以总理还原邀特朗普对伊动武细节:你不来 我们自己炸

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

全球首款增程越野皮卡 长安猎手K70上市19.29万元起

态度原创

亲子
本地
旅游
数码
公开课

亲子要闻

当你真心的看见了孩子,一切的疗愈才真正开始!

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

旅游要闻

长征路上学党史丨古镇哈达铺迎红色旅游热

数码要闻

索尼PlayStation PULSE Elevate无线音箱国行预售,1748元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版