网易首页 > 网易号 > 正文 申请入驻

当年只盼数百次引用,如今28万次——一篇论文如何改写整个行业

0
分享至

2017年,提交Transformer架构论文的团队,心里预期不过是"能有几百次引用"。七年过去,这个数字变成了281,654次——翻了不止千倍。

如今再看,这篇论文被无数人视为开启下一轮工业革命的催化剂。但在当时,没人预料到它会走到今天这个位置。团队核心成员Aidan Gomez回忆那段经历时,只用了四个字:"高产的四个月"


从"几百"到"28万"的落差

这个数字的对比本身就说明问题。一个研究团队在投稿时对影响力的预期,和它实际撬动的行业变革之间,隔着整整一个时代。2017年的AI圈,注意力机制还不是主流叙事,Transformer只是众多新架构中的一种尝试。团队当时的目标很朴素:让论文被看到、被引用、被讨论。

结果它定义了之后几乎所有大语言模型的基础架构。从BERT到GPT系列,从谷歌到OpenAI,底层都离不开这套设计。281,654次引用不是数字游戏,它意味着全球成千上万个研究团队,在这篇论文的基础上继续堆叠、改造、延伸。

四个月写出的"工业革命催化剂"

Aidan Gomez说的"高产的四个月",指的是从想法到成稿的周期。四个月产出一篇改变行业走向的论文,这个效率放在今天的AI研究节奏里依然惊人。更关键的是,当时团队并没有在做一个"宏大项目",他们只是在解决一个具体的、看起来不那么性感的问题——序列建模的效率。

恰恰是这种"解决具体问题"的出发点,让Transformer具备了极强的通用性。它不绑定某个特定任务,而是提供了一种更高效的并行计算方式。后来的故事大家都知道了:它成了几乎所有主流模型的共同底座。

引用量背后的行业信号

281,654次引用,放在学术圈是一个极其罕见的量级。绝大多数论文的引用量在几十到几百之间,能过万的已经是领域内的重要工作。Transformer这篇论文的量级,已经不属于"重要工作"的范畴,它更像是一个基础设施级别的存在。

这个数字还在增长。只要大模型的研究不停,引用就会继续累积。回头看2017年那个"期待几百次引用"的团队,他们大概也没想到,自己四个月的工作会变成整个行业的地基。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
星宇股份董事长回应“解约应届生”

星宇股份董事长回应“解约应届生”

封面新闻
2026-09-02 12:39:04
ESPN:如果斯卡洛尼续约,尼科-帕斯将穿阿根廷国家队10号

ESPN:如果斯卡洛尼续约,尼科-帕斯将穿阿根廷国家队10号

懂球帝
2026-09-02 09:20:16
中共中央批准,开除岳普煜党籍

中共中央批准,开除岳普煜党籍

新京报政事儿
2026-09-02 18:14:05
斯诺克战报:6大逆转惊了!前16仅剩3人,赵心童好运气

斯诺克战报:6大逆转惊了!前16仅剩3人,赵心童好运气

清风月影j
2026-09-02 11:43:12
一鸣食品股价坐过山车:昨日涨停,今日跌停

一鸣食品股价坐过山车:昨日涨停,今日跌停

新京报
2026-09-02 16:32:08
1-2惨败!就在刚刚,美网爆大冷:世界第84掀翻世界第12!奥运冠军一轮游回家,郑钦文再遇苦主盼复仇

1-2惨败!就在刚刚,美网爆大冷:世界第84掀翻世界第12!奥运冠军一轮游回家,郑钦文再遇苦主盼复仇

锐评利物浦
2026-09-02 15:15:33
李春平身边23名员工联名写举报信!举报利益集团安排李春平假结婚

李春平身边23名员工联名写举报信!举报利益集团安排李春平假结婚

细品名人
2026-09-01 22:35:27
“老娘传位给儿子”,起底协会反腐第一案

“老娘传位给儿子”,起底协会反腐第一案

中国新闻周刊
2026-09-02 07:44:08
流落中国的外国公主,如今拒绝回国:我是中国人,中国就是我的家

流落中国的外国公主,如今拒绝回国:我是中国人,中国就是我的家

奇思妙想生活家
2026-08-30 09:33:02
高考阅卷老师说真话:550分、600分、650分,分别意味着什么

高考阅卷老师说真话:550分、600分、650分,分别意味着什么

户外阿毽
2026-09-01 10:31:07
日本男星在电车上性侵女高中生长达20分钟!被捕后称:为了满足性欲!

日本男星在电车上性侵女高中生长达20分钟!被捕后称:为了满足性欲!

东京新青年
2026-09-01 18:48:31
盼了这么久,财政部2026年退休人员养老金上调通知到底公布了没?

盼了这么久,财政部2026年退休人员养老金上调通知到底公布了没?

铭记历史呀
2026-09-02 02:07:04
南海局势突变!美航母进入后突然失去踪迹,同时,解放军南海出动

南海局势突变!美航母进入后突然失去踪迹,同时,解放军南海出动

影孖看世界
2026-09-01 22:14:29
中俄永久免签意味着什么?

中俄永久免签意味着什么?

凤眼论
2026-09-02 19:47:16
蒋万安成国民党“储君”,自知无望的郑丽文,将统一态度彻底锁死

蒋万安成国民党“储君”,自知无望的郑丽文,将统一态度彻底锁死

舍长阿爷谈事
2026-09-01 14:09:02
孙宇晨2018年6月被限制出境,结果不到4个月人就在美国了

孙宇晨2018年6月被限制出境,结果不到4个月人就在美国了

江启
2026-08-31 04:00:08
为什么二手的东西尽量别买?看了网友的分享,简直让人毛骨悚然

为什么二手的东西尽量别买?看了网友的分享,简直让人毛骨悚然

小陆搞笑日常
2026-09-02 09:16:21
黄之锋,当庭认罪

黄之锋,当庭认罪

澎湃新闻
2026-09-02 12:06:04
曼晚:曼联明年夏窗可能会买4个后卫,头号目标已经确定

曼晚:曼联明年夏窗可能会买4个后卫,头号目标已经确定

懂球帝
2026-09-02 19:21:05
近期这种葡萄大量出现,细菌严重爆表!宁可扔掉也别吃

近期这种葡萄大量出现,细菌严重爆表!宁可扔掉也别吃

丁香生活研究所
2026-09-02 12:07:29
2026-09-02 20:44:49
码上闲叙
码上闲叙
有态度网友ytd
199文章数 88关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

10万级的满配B级车 试驾2027款比亚迪海豹06

态度原创

游戏
亲子
教育
家居
公开课

《FF7》蒂法惨遭DLSS5摧残!变大妈难以接受

亲子要闻

宝蓝和弟弟妹妹手上涂满颜料,用手掌画画,有趣又漂亮~

教育要闻

随州一中2026年秋季开学典礼隆重举行

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版