网易首页 > 网易号 > 正文 申请入驻

当年只盼数百次引用,如今28万次——一篇论文如何改写整个行业

0
分享至

2017年,提交Transformer架构论文的团队,心里预期不过是"能有几百次引用"。七年过去,这个数字变成了281,654次——翻了不止千倍。

如今再看,这篇论文被无数人视为开启下一轮工业革命的催化剂。但在当时,没人预料到它会走到今天这个位置。团队核心成员Aidan Gomez回忆那段经历时,只用了四个字:"高产的四个月"


从"几百"到"28万"的落差

这个数字的对比本身就说明问题。一个研究团队在投稿时对影响力的预期,和它实际撬动的行业变革之间,隔着整整一个时代。2017年的AI圈,注意力机制还不是主流叙事,Transformer只是众多新架构中的一种尝试。团队当时的目标很朴素:让论文被看到、被引用、被讨论。

结果它定义了之后几乎所有大语言模型的基础架构。从BERT到GPT系列,从谷歌到OpenAI,底层都离不开这套设计。281,654次引用不是数字游戏,它意味着全球成千上万个研究团队,在这篇论文的基础上继续堆叠、改造、延伸。

四个月写出的"工业革命催化剂"

Aidan Gomez说的"高产的四个月",指的是从想法到成稿的周期。四个月产出一篇改变行业走向的论文,这个效率放在今天的AI研究节奏里依然惊人。更关键的是,当时团队并没有在做一个"宏大项目",他们只是在解决一个具体的、看起来不那么性感的问题——序列建模的效率。

恰恰是这种"解决具体问题"的出发点,让Transformer具备了极强的通用性。它不绑定某个特定任务,而是提供了一种更高效的并行计算方式。后来的故事大家都知道了:它成了几乎所有主流模型的共同底座。

引用量背后的行业信号

281,654次引用,放在学术圈是一个极其罕见的量级。绝大多数论文的引用量在几十到几百之间,能过万的已经是领域内的重要工作。Transformer这篇论文的量级,已经不属于"重要工作"的范畴,它更像是一个基础设施级别的存在。

这个数字还在增长。只要大模型的研究不停,引用就会继续累积。回头看2017年那个"期待几百次引用"的团队,他们大概也没想到,自己四个月的工作会变成整个行业的地基。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“眼神都拉丝了!”家长晒母子互动视频,引全网不适:儿大不避母的结果

“眼神都拉丝了!”家长晒母子互动视频,引全网不适:儿大不避母的结果

妍妍教育日记
2026-08-31 23:54:51
19比1!中国不惯着特朗普,拒绝在联合声明上签字,不买这笔账

19比1!中国不惯着特朗普,拒绝在联合声明上签字,不买这笔账

丁铗惊悚影视解说
2026-09-02 14:49:13
广东队大名单正式揭晓,爆料杜润旺撕破脸,超级外援想降薪加入

广东队大名单正式揭晓,爆料杜润旺撕破脸,超级外援想降薪加入

宗介说体育
2026-09-02 16:21:47
劝退107名应届生引爆连锁反应!星宇事件后,有车企供应商怕丢欧美订单,不敢随便裁员

劝退107名应届生引爆连锁反应!星宇事件后,有车企供应商怕丢欧美订单,不敢随便裁员

火山詩话
2026-09-02 05:32:35
28岁内地女主播诬告强奸在澳门被捕,因与男子发生性关系索2万港元未果

28岁内地女主播诬告强奸在澳门被捕,因与男子发生性关系索2万港元未果

可达鸭面面观
2026-08-31 13:50:36
文章携女友凤莉看话剧,3年恋情线梳理!因话剧相识相恋,凤莉演艺经历亮眼

文章携女友凤莉看话剧,3年恋情线梳理!因话剧相识相恋,凤莉演艺经历亮眼

露珠聊影视
2026-09-02 15:26:33
小米迄今最高端手机:雷军晒18 Fold阔折叠真机,红色外壳吸睛

小米迄今最高端手机:雷军晒18 Fold阔折叠真机,红色外壳吸睛

IT之家
2026-09-02 13:01:07
美媒急了:中国重型战斗机数量超北约总和,美军连一半都不到

美媒急了:中国重型战斗机数量超北约总和,美军连一半都不到

瞩望云霄
2026-08-30 20:03:02
离婚的妇人都是咋和前夫相处的?网友:我就好奇,有没有睡在一起

离婚的妇人都是咋和前夫相处的?网友:我就好奇,有没有睡在一起

带你感受人间冷暖
2026-08-31 00:05:16
窦唯二女儿窦佳嫄举办画展,外公高飞和妈妈高原罕见现身支持!

窦唯二女儿窦佳嫄举办画展,外公高飞和妈妈高原罕见现身支持!

玖宇维
2026-09-02 15:07:37
美日澳军演在即,俄方就“堤丰”中导系统部署正式向日本交涉

美日澳军演在即,俄方就“堤丰”中导系统部署正式向日本交涉

生活观察员啊
2026-09-01 19:50:06
秘鲁宣布与伊朗断绝外交关系

秘鲁宣布与伊朗断绝外交关系

澎湃新闻
2026-09-02 08:16:08
26所学校一个学生都没招到!民办本科的“淘汰赛”正式打响

26所学校一个学生都没招到!民办本科的“淘汰赛”正式打响

起喜电影
2026-09-02 00:07:53
76人官宣签约!2米31的巨型中锋,时隔4年重返NBA

76人官宣签约!2米31的巨型中锋,时隔4年重返NBA

德译洋洋
2026-09-02 12:02:50
联邦警卫局第4次扩编,普京:他们会绞死我

联邦警卫局第4次扩编,普京:他们会绞死我

西楼饮月
2026-09-01 19:21:39
今晚,广州全市夜查!

今晚,广州全市夜查!

新快报新闻
2026-09-02 18:33:49
美股三大指数期货跳水,美股芯片股、中概股盘前下跌

美股三大指数期货跳水,美股芯片股、中概股盘前下跌

21世纪经济报道
2026-09-02 18:41:12
山东3分憾负北京!临沂双胞胎合砍30分,北京顶薪先生10中1拿5分

山东3分憾负北京!临沂双胞胎合砍30分,北京顶薪先生10中1拿5分

新杀猪的秀才
2026-09-02 19:33:59
上合峰会期间中方领导人与伊朗总统曾短暂交谈?外交部回应

上合峰会期间中方领导人与伊朗总统曾短暂交谈?外交部回应

澎湃新闻
2026-09-02 15:38:26
德国总理默茨:以色列是中东唯一民主国家,只要我还担任公职,就始终会对以色列的生存权予以军事支持,在捍卫以色列方面绝不会退让分毫

德国总理默茨:以色列是中东唯一民主国家,只要我还担任公职,就始终会对以色列的生存权予以军事支持,在捍卫以色列方面绝不会退让分毫

扬子晚报
2026-08-31 19:41:30
2026-09-02 22:19:00
码上闲叙
码上闲叙
有态度网友ytd
205文章数 88关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

7人豪宅楼盘看房被困电梯呼叫铃还无反应 售楼部回应

头条要闻

7人豪宅楼盘看房被困电梯呼叫铃还无反应 售楼部回应

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

全新理想MEGA售50.98万 这一次“移动的家”更舒适更灵活

态度原创

旅游
亲子
家居
数码
公开课

旅游要闻

「侠客岛」7500公里外遥远的相似

亲子要闻

我在韩国差点想打人 怎么回事? 小朋友来韩国能玩什

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

宏碁推出SFF RTX Spark迷你主机,最高128GB内存

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版