网易首页 > 网易号 > 正文 申请入驻

鉴别论文灵感来自AI还是人类,DeepMind科学家找到一种新方法

0
分享至



AI 正在进入论文写作的各个环节,学术出版机构也在逐步明确相关使用规范。

2026 年 8 月,全球学术出版商 Elsevier 更新了生成式 AI 使用政策,要求作者披露论文准备过程中 AI 工具的使用情况,并对最终内容负责;Springer Nature 的相关政策同样强调使用透明度和人工监督。

对于期刊而言,除了明确规则,还需要判断作者是否遵守了这些要求。Wiley 旗下的 Research Exchange 投稿筛查系统已引入机器生成内容检测工具,用于识别可能存在的未披露 AI 使用情况。不过,Wiley 明确提醒,检测工具存在误报风险,结果不应成为编辑作出决定的主要依据。

目前,现有的 AI 文本检测工具主要分析词语选择、句式结构等语言特征,判断文章是否由 AI 生成。但如果人类负责构思、AI 负责写作,或者 AI 提出想法、人类完成写作,仅凭文字特征就很难判断研究构思的来源。

近日,美国马里兰大学、Google DeepMind、加拿大西蒙弗雷泽大学等机构的研究人员在 arXiv 发布预印本论文 “IdeaLens: Detecting AI Ideas in Long-form Writing”,尝试解决这一问题。研究团队开发了一套名为 IdeaLens 的检测系统,不再直接分析文章的语言风格,而是将文章转换为内容大纲,尝试判断其中的想法思路来自人类还是 AI。

在一项模拟人机协作写作的实验中,当 AI 根据人类提供的完整大纲写作时,IdeaLens 将文章判定为 AI 的比例从 94.9% 降至 6.8%;而当人类根据 AI 生成的故事大纲重新写作时,IdeaLens 将 68% 的文章判定为 AI,传统检测器 Pangram 4 的这一比例只有 8%。

AI 文本检测公司 Pangram 的首席执行官 Max Spero 在接受 Science 采访时评价,这是一种全新的检测器,其方法具有创新性,也代表了该领域的一项进展。

目前,研究团队已公开了 IdeaLens 和对照模型 ProseLens 的训练数据及相关评测数据集,供其他研究人员进一步测试。研究人员也强调,IdeaLens 给出的是模型预测,并不能直接证明某个想法究竟由谁提出。

不分析语言风格,而是提取文章大纲

传统 AI 文本检测工具主要判断文章的文字由谁写出。IdeaLens 关注的则是另一个问题:文章表达了什么观点、使用了哪些证据,以及内容是如何组织起来的。

研究团队将这两个维度分别称为文字来源(prose provenance)和思想来源(idea provenance)。前者关注文字由谁写出,后者关注文章中的观点、事件和组织方式来自谁的构思。

为此,研究人员没有让模型直接阅读完整文章,而是先利用大语言模型提取内容大纲。大纲按照文章内容出现的顺序,记录每部分承担的作用,以及其中表达的具体内容。

例如,一篇新闻评论可能依次包含事件背景、核心观点、事实证据和最终评价。系统会识别这些部分的作用,并用简短文字概括相应内容。学术文章则可以按照研究问题、方法、结果和结论等内容进行整理。

研究人员还会在训练阶段对提取的大纲进行改写,尽可能去除原文的措辞,同时保留观点和内容结构。这样,模型就不必主要依赖原文的用词和句式来判断来源。


图 | 看想法是谁出的,检测得准不准(来源:上述论文)

训练 IdeaLens 的关键,则是用现有 AI 检测器提供的标签,训练一个只读取文章大纲的模型。

研究团队从 FineWeb 网页文本语料中筛选了约 100 万篇不少于 500 词的英文长文本,涵盖新闻、小说、学术文章、博客等八种文体,并将其整理为 WildOutlines 数据集。

由于缺少大规模、经过核实的思想来源标注,研究人员先使用现有检测器 Pangram 3.3.2 判断文章由人类还是 AI 撰写,再将检测结果作为训练标签。被判断为人机混合写作的文章则被排除。

接下来,研究团队使用大语言模型批量提取文章大纲,并对其进行改写。完成数据处理后,他们以英伟达 Nemotron-3.5-Lightning-30B-A3B 为基础模型,采用 LoRA 方法进行一轮微调。训练时,模型读取经过处理的大纲及其对应的标签,学习判断内容更接近人类还是 AI 的构思。

约 100 万篇文章中,约 84.2 万篇用于训练,约 3 万篇用于验证,约 8 万篇人类文章用于校准检测阈值,另外约 5 万篇用于测试。

为了比较大纲与原文两种输入方式的效果,研究人员还训练了一个名为 ProseLens 的对照模型。两个模型使用相同的基础模型、训练文章和标签,主要区别在于:IdeaLens 阅读文章大纲,ProseLens 直接阅读原文。

AI 构思、人类写作,检测器能识别吗?

为了测试 IdeaLens,研究团队设计了三组评测数据集 IdeaShift、TwiceTold、IdeaShift-X,分别测试人类构思、AI 写作,AI 构思、人类写作,以及跨语言场景下的检测效果。

第一组是 IdeaShift,模拟人类提出想法、AI 完成写作的过程。

研究人员选取了 500 篇文章,为每篇文章制作不同详细程度的写作提示,再让 AI 根据提示生成新文章。最初,AI 只能获得一个主题;随后,提示逐步增加文章观点、内容安排等信息,最终提供完整大纲,并要求 AI 严格按照大纲写作,不额外添加内容。

结果显示,当 AI 只获得简单主题时,IdeaLens 将 94.9% 的文章判定为 AI;当 AI 根据完整的人类大纲写作时,这一比例降至 6.8%。相比之下,ProseLens 和 Pangram 4 在最后一种情况下,仍分别将 86.5% 和 92.4% 的文章判定为 AI。

研究人员还让 AI 根据 AI 自己生成的大纲写作。无论大纲详细程度如何,IdeaLens 都将超过 96% 的文章判定为 AI 构思。

第二组是 TwiceTold,测试 AI 提出想法、人类完成写作的情况。

研究团队先让 GPT-5.6 Sol 生成 50 篇约 500 词的故事,再提取故事大纲,交给 17 名计算机科学领域的研究生或教师重新写作。参与者只能看到大纲,不能阅读 AI 生成的原始故事,因此需要自行完成文字表达,但故事的主要情节和内容安排来自 AI。

在这 50 篇人类写作的故事中,IdeaLens 将 68% 判定为 AI;Pangram 4 的这一比例为 8%,ProseLens 则没有将任何一篇判定为 AI。作为对照,研究人员也检测了 AI 生成的原始故事,IdeaLens 识别出了其中的 96%,ProseLens 和 Pangram 4 则均识别出了全部故事。

对于 IdeaLens 未能识别的 16 篇人类重写故事,研究团队发现,其中 12 篇包含推想或奇幻元素。部分参与者在遵循原有大纲的同时,增加了新的事件或世界观细节。


(来源:上述论文)

第三组是 IdeaShift-X,研究模型能否跨越语言差异识别构思来源。

虽然 IdeaLens 只使用英文文章训练,但在检测其他语言的文章时,可以先将其转换为英文大纲,再交给模型判断。研究团队从 FineWeb2 中选取了 24 种语言的 1 万篇人类文章,并按照 IdeaShift 的方法生成对应的 AI 写作版本。

结果显示,对于只提供简单主题、由 AI 自行构思和写作的文章,IdeaLens 的识别率为 95.3%;而当 AI 严格按照完整的人类大纲写作时,被判定为 AI 的比例只有 0.7%。

除上述实验外,研究团队还在 19 组已有的 AI 检测评估中比较了不同工具的表现。对于构思和文字都来自 AI 的文章,IdeaLens 的平均识别率为 91.1%,误报率为 0.6%。ProseLens 的识别率为 98.9%,误报率为 0.7%;Pangram 4 的识别率为 97.3%,误报率为 0.3%。

在涉及 AI 润色、改写人类文章的 12 组评估中,IdeaLens 将 94.7% 的文章识别为人类构思,而 ProseLens 和 Pangram 4 的这一比例分别为 50.7% 和 43.8%。


(来源:上述论文)

研究团队还分析了约 9 万条大纲内容,观察模型判断人类与 AI 构思时呈现出的内容特征。

分析发现,被 IdeaLens 判断为更接近 AI 写作的内容,往往包含适用于多个主题的笼统描述,或者引用数字、方法和事实,却缺少足够的信息供读者核查;部分内容还会提出超出证据支持范围的结论;被模型判断为更接近人类写作的内容,则更常包含具体、可核查的信息,也更可能讨论研究或观点的局限,以及尚未解决的问题。

对于这项研究,论文作者之一、美国马里兰大学计算机科学研究人员 Rishanth Rajendhran 在接受 Nature 采访时指出,AI 辅助撰写科学论文正逐渐被接受,但研究的核心想法是否出自研究人员本人,仍值得关注。

康奈尔理工学院计算机科学家 Nikhil Garg 则对 IdeaLens 的方法感到惊讶:仅凭文章大纲,模型就能在一定程度上识别 AI 生成的论证。不过,他也提醒,这种方法并非万无一失。如果检测对象与训练数据差异较大,模型的准确性可能受到影响;某种写作方式在一个领域可能被视为 AI 特征,在另一个领域却可能是人类写作的常态。

论文作者也在研究中列出了相关限制。

首先,IdeaLens 的训练标签由传统 AI 检测器提供,并不是对文章实际构思过程的直接记录;其次,TwiceTold 中只有 50 篇由人类根据 AI 大纲重新撰写的故事,实验规模仍然有限。

此外,现实中的人机协作往往更加复杂。人类可能先提出问题,再根据 AI 的建议修改研究方向,也可能与 AI 多轮讨论,共同形成最终的论文结构。IdeaLens 目前主要给出人类或 AI 两类判断,尚不能准确区分这种共同构思过程中各自的贡献。

1.https://www.science.org/content/article/did-ai-or-human-write-paper-new-detector-decides-examining-its-ideas

2.https://www.nature.com/articles/d41586-026-03247-0

3.Rajendhran, R. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2610.06778 (2026).

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
养老院开始离谱了!床位从6000跌到2000,退休金三千也能住得起了

养老院开始离谱了!床位从6000跌到2000,退休金三千也能住得起了

金哥说新能源车
2026-10-18 13:04:15
为统一做准备?趁着美国搅动台海,中国在福建成立了一个神秘机构

为统一做准备?趁着美国搅动台海,中国在福建成立了一个神秘机构

文史道
2026-09-17 08:58:34
新娘临时要20万下车费,新郎说去筹钱却未归,新娘赶到公婆家愣了!

新娘临时要20万下车费,新郎说去筹钱却未归,新娘赶到公婆家愣了!

麦子情感故事
2026-10-17 22:50:39
听闻黄百韬自尽,粟裕直接晕倒,后来其妻透露:他始终不敢向主席诉苦

听闻黄百韬自尽,粟裕直接晕倒,后来其妻透露:他始终不敢向主席诉苦

浔阳咸鱼
2026-09-17 09:30:21
她帮美国造出原子弹,37年后回国,见到周总理开口第一句话是:"我找不到父母的坟了。"这个女人,连美国都不敢不用她。

她帮美国造出原子弹,37年后回国,见到周总理开口第一句话是:"我找不到父母的坟了。"这个女人,连美国都不敢不用她。

回京历史梦
2026-10-13 09:23:22
马斯克反思白宫往事 称美债问题只能靠AI和机器人解决

马斯克反思白宫往事 称美债问题只能靠AI和机器人解决

财联社
2026-10-18 03:52:05
在莫大课堂摆日军军帽的留学生黑历史曝光!自称日本人、跟着俄国人骂同胞

在莫大课堂摆日军军帽的留学生黑历史曝光!自称日本人、跟着俄国人骂同胞

小徐讲八卦
2026-10-17 06:35:15
丢球英超第12!后防漏洞百出,曼联补强防线,冬窗或签埃弗顿铁卫

丢球英超第12!后防漏洞百出,曼联补强防线,冬窗或签埃弗顿铁卫

体坛鉴春秋
2026-10-18 09:59:15
黄奇帆算过的那些账:哪些会沉淀下来?

黄奇帆算过的那些账:哪些会沉淀下来?

小筑财经
2026-10-14 11:29:10
密密麻麻!33岁女子体内取出197枚,医生:从医以来第一次见

密密麻麻!33岁女子体内取出197枚,医生:从医以来第一次见

上海约饭局
2026-09-19 10:42:08
汪小菲与两个截然不同女人结婚,各自抱着孩子合照,看着有点感慨

汪小菲与两个截然不同女人结婚,各自抱着孩子合照,看着有点感慨

大眼妹妹
2026-10-16 17:01:49
利好!2700亿巨头,净利预增超160%!A股龙头,密集发布

利好!2700亿巨头,净利预增超160%!A股龙头,密集发布

证券时报
2026-10-18 10:06:04
不允许评价的商品,坚决不买!

不允许评价的商品,坚决不买!

廖保平
2026-10-11 09:27:10
46岁高圆圆素颜穿塑料凉拖逛超市,被路人当成买菜大姐

46岁高圆圆素颜穿塑料凉拖逛超市,被路人当成买菜大姐

东方不败然多多
2026-10-01 20:30:13
随着广西恒宸2-2,大连鲲城1-1,无锡吴钩0-2,中甲最新积分榜出炉

随着广西恒宸2-2,大连鲲城1-1,无锡吴钩0-2,中甲最新积分榜出炉

侧身凌空斩
2026-10-17 21:27:30
这13个草书字,我只认出3个,能100%认识的,您是真有两把刷子!

这13个草书字,我只认出3个,能100%认识的,您是真有两把刷子!

书画相约
2026-10-18 11:06:21
2026年,结婚人数又破纪录了!

2026年,结婚人数又破纪录了!

巢客HOME
2026-06-21 07:20:07
从“黑船来袭”到“销量停滞”:远渡日本的比亚迪海獭怎么了?

从“黑船来袭”到“销量停滞”:远渡日本的比亚迪海獭怎么了?

沙雕小琳琳
2026-10-16 09:55:35
10-0!李昊炎竖起3根手指:代表巴萨首发+23分钟戴帽 8天2场轰4球

10-0!李昊炎竖起3根手指:代表巴萨首发+23分钟戴帽 8天2场轰4球

风过乡
2026-10-18 07:12:29
2026-10-18 14:19:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17378文章数 515234关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

特斯拉飞行汽车在美国引发疑问:从哪起飞 是否真能飞

头条要闻

特斯拉飞行汽车在美国引发疑问:从哪起飞 是否真能飞

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

曝郭麒麟与25岁知名女星已经结婚,女方回应关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

本地
家居
亲子
数码
军事航空

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

孩子拇指与众不同会敏感自卑,术后锻炼与心理疏导缺一不可

数码要闻

语音交互爆发!99元的小米遥控器,一夜成了爆款AI硬件

军事要闻

乌克兰全国超15处重要能源设施遭俄袭击 泽连斯基发声

无障碍浏览 进入关怀版