网易首页 > 网易号 > 正文 申请入驻

鉴别论文灵感来自AI还是人类,DeepMind科学家找到一种新方法

0
分享至



AI 正在进入论文写作的各个环节,学术出版机构也在逐步明确相关使用规范。

2026 年 8 月,全球学术出版商 Elsevier 更新了生成式 AI 使用政策,要求作者披露论文准备过程中 AI 工具的使用情况,并对最终内容负责;Springer Nature 的相关政策同样强调使用透明度和人工监督。

对于期刊而言,除了明确规则,还需要判断作者是否遵守了这些要求。Wiley 旗下的 Research Exchange 投稿筛查系统已引入机器生成内容检测工具,用于识别可能存在的未披露 AI 使用情况。不过,Wiley 明确提醒,检测工具存在误报风险,结果不应成为编辑作出决定的主要依据。

目前,现有的 AI 文本检测工具主要分析词语选择、句式结构等语言特征,判断文章是否由 AI 生成。但如果人类负责构思、AI 负责写作,或者 AI 提出想法、人类完成写作,仅凭文字特征就很难判断研究构思的来源。

近日,美国马里兰大学、Google DeepMind、加拿大西蒙弗雷泽大学等机构的研究人员在 arXiv 发布预印本论文 “IdeaLens: Detecting AI Ideas in Long-form Writing”,尝试解决这一问题。研究团队开发了一套名为 IdeaLens 的检测系统,不再直接分析文章的语言风格,而是将文章转换为内容大纲,尝试判断其中的想法思路来自人类还是 AI。

在一项模拟人机协作写作的实验中,当 AI 根据人类提供的完整大纲写作时,IdeaLens 将文章判定为 AI 的比例从 94.9% 降至 6.8%;而当人类根据 AI 生成的故事大纲重新写作时,IdeaLens 将 68% 的文章判定为 AI,传统检测器 Pangram 4 的这一比例只有 8%。

AI 文本检测公司 Pangram 的首席执行官 Max Spero 在接受 Science 采访时评价,这是一种全新的检测器,其方法具有创新性,也代表了该领域的一项进展。

目前,研究团队已公开了 IdeaLens 和对照模型 ProseLens 的训练数据及相关评测数据集,供其他研究人员进一步测试。研究人员也强调,IdeaLens 给出的是模型预测,并不能直接证明某个想法究竟由谁提出。

不分析语言风格,而是提取文章大纲

传统 AI 文本检测工具主要判断文章的文字由谁写出。IdeaLens 关注的则是另一个问题:文章表达了什么观点、使用了哪些证据,以及内容是如何组织起来的。

研究团队将这两个维度分别称为文字来源(prose provenance)和思想来源(idea provenance)。前者关注文字由谁写出,后者关注文章中的观点、事件和组织方式来自谁的构思。

为此,研究人员没有让模型直接阅读完整文章,而是先利用大语言模型提取内容大纲。大纲按照文章内容出现的顺序,记录每部分承担的作用,以及其中表达的具体内容。

例如,一篇新闻评论可能依次包含事件背景、核心观点、事实证据和最终评价。系统会识别这些部分的作用,并用简短文字概括相应内容。学术文章则可以按照研究问题、方法、结果和结论等内容进行整理。

研究人员还会在训练阶段对提取的大纲进行改写,尽可能去除原文的措辞,同时保留观点和内容结构。这样,模型就不必主要依赖原文的用词和句式来判断来源。


图 | 看想法是谁出的,检测得准不准(来源:上述论文)

训练 IdeaLens 的关键,则是用现有 AI 检测器提供的标签,训练一个只读取文章大纲的模型。

研究团队从 FineWeb 网页文本语料中筛选了约 100 万篇不少于 500 词的英文长文本,涵盖新闻、小说、学术文章、博客等八种文体,并将其整理为 WildOutlines 数据集。

由于缺少大规模、经过核实的思想来源标注,研究人员先使用现有检测器 Pangram 3.3.2 判断文章由人类还是 AI 撰写,再将检测结果作为训练标签。被判断为人机混合写作的文章则被排除。

接下来,研究团队使用大语言模型批量提取文章大纲,并对其进行改写。完成数据处理后,他们以英伟达 Nemotron-3.5-Lightning-30B-A3B 为基础模型,采用 LoRA 方法进行一轮微调。训练时,模型读取经过处理的大纲及其对应的标签,学习判断内容更接近人类还是 AI 的构思。

约 100 万篇文章中,约 84.2 万篇用于训练,约 3 万篇用于验证,约 8 万篇人类文章用于校准检测阈值,另外约 5 万篇用于测试。

为了比较大纲与原文两种输入方式的效果,研究人员还训练了一个名为 ProseLens 的对照模型。两个模型使用相同的基础模型、训练文章和标签,主要区别在于:IdeaLens 阅读文章大纲,ProseLens 直接阅读原文。

AI 构思、人类写作,检测器能识别吗?

为了测试 IdeaLens,研究团队设计了三组评测数据集 IdeaShift、TwiceTold、IdeaShift-X,分别测试人类构思、AI 写作,AI 构思、人类写作,以及跨语言场景下的检测效果。

第一组是 IdeaShift,模拟人类提出想法、AI 完成写作的过程。

研究人员选取了 500 篇文章,为每篇文章制作不同详细程度的写作提示,再让 AI 根据提示生成新文章。最初,AI 只能获得一个主题;随后,提示逐步增加文章观点、内容安排等信息,最终提供完整大纲,并要求 AI 严格按照大纲写作,不额外添加内容。

结果显示,当 AI 只获得简单主题时,IdeaLens 将 94.9% 的文章判定为 AI;当 AI 根据完整的人类大纲写作时,这一比例降至 6.8%。相比之下,ProseLens 和 Pangram 4 在最后一种情况下,仍分别将 86.5% 和 92.4% 的文章判定为 AI。

研究人员还让 AI 根据 AI 自己生成的大纲写作。无论大纲详细程度如何,IdeaLens 都将超过 96% 的文章判定为 AI 构思。

第二组是 TwiceTold,测试 AI 提出想法、人类完成写作的情况。

研究团队先让 GPT-5.6 Sol 生成 50 篇约 500 词的故事,再提取故事大纲,交给 17 名计算机科学领域的研究生或教师重新写作。参与者只能看到大纲,不能阅读 AI 生成的原始故事,因此需要自行完成文字表达,但故事的主要情节和内容安排来自 AI。

在这 50 篇人类写作的故事中,IdeaLens 将 68% 判定为 AI;Pangram 4 的这一比例为 8%,ProseLens 则没有将任何一篇判定为 AI。作为对照,研究人员也检测了 AI 生成的原始故事,IdeaLens 识别出了其中的 96%,ProseLens 和 Pangram 4 则均识别出了全部故事。

对于 IdeaLens 未能识别的 16 篇人类重写故事,研究团队发现,其中 12 篇包含推想或奇幻元素。部分参与者在遵循原有大纲的同时,增加了新的事件或世界观细节。


(来源:上述论文)

第三组是 IdeaShift-X,研究模型能否跨越语言差异识别构思来源。

虽然 IdeaLens 只使用英文文章训练,但在检测其他语言的文章时,可以先将其转换为英文大纲,再交给模型判断。研究团队从 FineWeb2 中选取了 24 种语言的 1 万篇人类文章,并按照 IdeaShift 的方法生成对应的 AI 写作版本。

结果显示,对于只提供简单主题、由 AI 自行构思和写作的文章,IdeaLens 的识别率为 95.3%;而当 AI 严格按照完整的人类大纲写作时,被判定为 AI 的比例只有 0.7%。

除上述实验外,研究团队还在 19 组已有的 AI 检测评估中比较了不同工具的表现。对于构思和文字都来自 AI 的文章,IdeaLens 的平均识别率为 91.1%,误报率为 0.6%。ProseLens 的识别率为 98.9%,误报率为 0.7%;Pangram 4 的识别率为 97.3%,误报率为 0.3%。

在涉及 AI 润色、改写人类文章的 12 组评估中,IdeaLens 将 94.7% 的文章识别为人类构思,而 ProseLens 和 Pangram 4 的这一比例分别为 50.7% 和 43.8%。


(来源:上述论文)

研究团队还分析了约 9 万条大纲内容,观察模型判断人类与 AI 构思时呈现出的内容特征。

分析发现,被 IdeaLens 判断为更接近 AI 写作的内容,往往包含适用于多个主题的笼统描述,或者引用数字、方法和事实,却缺少足够的信息供读者核查;部分内容还会提出超出证据支持范围的结论;被模型判断为更接近人类写作的内容,则更常包含具体、可核查的信息,也更可能讨论研究或观点的局限,以及尚未解决的问题。

对于这项研究,论文作者之一、美国马里兰大学计算机科学研究人员 Rishanth Rajendhran 在接受 Nature 采访时指出,AI 辅助撰写科学论文正逐渐被接受,但研究的核心想法是否出自研究人员本人,仍值得关注。

康奈尔理工学院计算机科学家 Nikhil Garg 则对 IdeaLens 的方法感到惊讶:仅凭文章大纲,模型就能在一定程度上识别 AI 生成的论证。不过,他也提醒,这种方法并非万无一失。如果检测对象与训练数据差异较大,模型的准确性可能受到影响;某种写作方式在一个领域可能被视为 AI 特征,在另一个领域却可能是人类写作的常态。

论文作者也在研究中列出了相关限制。

首先,IdeaLens 的训练标签由传统 AI 检测器提供,并不是对文章实际构思过程的直接记录;其次,TwiceTold 中只有 50 篇由人类根据 AI 大纲重新撰写的故事,实验规模仍然有限。

此外,现实中的人机协作往往更加复杂。人类可能先提出问题,再根据 AI 的建议修改研究方向,也可能与 AI 多轮讨论,共同形成最终的论文结构。IdeaLens 目前主要给出人类或 AI 两类判断,尚不能准确区分这种共同构思过程中各自的贡献。

1.https://www.science.org/content/article/did-ai-or-human-write-paper-new-detector-decides-examining-its-ideas

2.https://www.nature.com/articles/d41586-026-03247-0

3.Rajendhran, R. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2610.06778 (2026).

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
取消住房公积金,释放11万亿的大血包

取消住房公积金,释放11万亿的大血包

百味朱砂
2026-10-15 10:50:50
太惨了!高位买房巨亏540万:杭州夫妻因婚房产生分歧,双方父母碰面协商,一番争执直接走向离婚

太惨了!高位买房巨亏540万:杭州夫妻因婚房产生分歧,双方父母碰面协商,一番争执直接走向离婚

火山詩话
2026-10-15 06:08:05
苹果“双11”优惠公布:iPhone 17立减1000元,iPhone 18 Pro立减300元

苹果“双11”优惠公布:iPhone 17立减1000元,iPhone 18 Pro立减300元

极目新闻
2026-10-15 11:05:56
徐艺洋官宣当妈!晒一家三口海边合照好温馨,此前曾多次被曝生娃

徐艺洋官宣当妈!晒一家三口海边合照好温馨,此前曾多次被曝生娃

扒虾侃娱
2026-10-15 16:47:35
日本正秘密研发!射程超1000公里 可覆盖中国沿海

日本正秘密研发!射程超1000公里 可覆盖中国沿海

看看新闻Knews
2026-10-15 17:21:28
多地开始严查档案:干部的档案,比体检报告还刺激。

多地开始严查档案:干部的档案,比体检报告还刺激。

城事堂
2026-10-15 09:22:59
震惊!“商务密室逃脱”披着娱乐外衣横空出世,网友:据说名字很正,玩一次能回味很久

震惊!“商务密室逃脱”披着娱乐外衣横空出世,网友:据说名字很正,玩一次能回味很久

火山詩话
2026-10-14 07:37:36
黄子韬徐艺洋官宣当爸妈!儿子看上去至少2岁了,生子时间线梳理

黄子韬徐艺洋官宣当爸妈!儿子看上去至少2岁了,生子时间线梳理

露珠聊影视
2026-10-15 18:04:54
33岁炸串女摊主被差评后跳河轻生,警方已介入调查;评判商家,不该只有“避雷帖”

33岁炸串女摊主被差评后跳河轻生,警方已介入调查;评判商家,不该只有“避雷帖”

极目新闻
2026-10-15 07:23:25
研究预测:约2/3民办高校或将退出

研究预测:约2/3民办高校或将退出

麦可思研究
2026-10-14 19:46:25
63岁穆帅眼含热泪!7万人高歌+拉巨型TIFO欢迎回家:3年激情岁月

63岁穆帅眼含热泪!7万人高歌+拉巨型TIFO欢迎回家:3年激情岁月

风过乡
2026-10-15 07:14:24
“穿靴子的一看就是穷养女”,大学女寝视频火了,4号深不可测

“穿靴子的一看就是穷养女”,大学女寝视频火了,4号深不可测

番外行
2026-10-15 08:16:10
32岁的妻子约网友睡觉被征服:2个人私奔4个月,她就被网友活活打死了

32岁的妻子约网友睡觉被征服:2个人私奔4个月,她就被网友活活打死了

汉史趣闻
2026-10-15 09:06:14
32岁的摊主走了!两个孩子再也等不到妈妈收摊了,网传她16岁打工,二胎后摆摊至凌晨,其“面相和善”成为舆论焦点

32岁的摊主走了!两个孩子再也等不到妈妈收摊了,网传她16岁打工,二胎后摆摊至凌晨,其“面相和善”成为舆论焦点

王老师你还好吗
2026-10-15 08:57:03
1岁宝宝吃下被邻居投毒的鸡蛋,医院3次下达病危通知书,救治后留下严重后遗症;警方在蛋壳上发现针孔,邻居自首称“想毒黄鼠狼”……

1岁宝宝吃下被邻居投毒的鸡蛋,医院3次下达病危通知书,救治后留下严重后遗症;警方在蛋壳上发现针孔,邻居自首称“想毒黄鼠狼”……

都市快报橙柿互动
2026-10-15 07:43:51
长鑫科技早盘一度跌超5%,总市值跌破3万亿元

长鑫科技早盘一度跌超5%,总市值跌破3万亿元

界面新闻
2026-10-15 11:28:56
逼死人了!宜宾一孕妇花10块钱买大筐炸串不满意,在各平台写差评,女摊主生前发帖“我快扛不下去了”

逼死人了!宜宾一孕妇花10块钱买大筐炸串不满意,在各平台写差评,女摊主生前发帖“我快扛不下去了”

火山詩话
2026-10-15 05:25:34
再也不想回到马杜罗时代?委内瑞拉GDP暴涨7.14%,货架全面充盈,中国提前抢占红利,前8月贸易额突破50.57亿?

再也不想回到马杜罗时代?委内瑞拉GDP暴涨7.14%,货架全面充盈,中国提前抢占红利,前8月贸易额突破50.57亿?

回京历史梦
2026-10-15 09:12:40
iPhone 18 Pro系列降价,苹果公布双11折扣

iPhone 18 Pro系列降价,苹果公布双11折扣

新京报
2026-10-15 11:38:07
寄宿男孩“低情商发奶”,引来3.6万人感叹:这样没人会记你的好

寄宿男孩“低情商发奶”,引来3.6万人感叹:这样没人会记你的好

番外行
2026-10-15 08:14:54
2026-10-15 18:31:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17371文章数 515233关注度
往期回顾 全部

科技要闻

核弹院士彭先觉:可控核聚变 不必再等50年

头条要闻

男子捉奸收2.5万被判敲诈后获释 申请423万国赔获受理

头条要闻

男子捉奸收2.5万被判敲诈后获释 申请423万国赔获受理

体育要闻

五大联赛第二射手,开着11年前的二手车

娱乐要闻

蒋劲夫晒体脂率引关注,家暴史再被扒

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

不止大空间/纯电增程任选 小鹏MONA L05来了

态度原创

健康
教育
家居
房产
时尚

孩子运动莫名晕倒?当心这类疾病

教育要闻

高一的重要性

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

海棠湾坐不住了!两大顶流定档;又有豪宅方案曝光!

今年秋天一定要拥有的10件单品,时髦又好看!

无障碍浏览 进入关怀版