随着人工智能(AI)辅助科研写作日益普及,部分期刊和学术会议允许作者使用 AI 润色,禁止用 AI 生成整篇论文。然而,现有检测工具难以准确判断 AI 的使用程度。
为此,美国马里兰大学(University of Maryland)领衔的研究团队开发出检测工具 IdeaLens,用于判断论文中的想法来源是否由 AI 生成。相关论文于近期发布在预印本平台 arXiv 上,尚未经过同行评审。
![]()
IdeaLens 主要追踪的是想法的来源,而传统检测器则主要追踪表面「文字文风」。图片来源:原论文
研究人员利用逾 80 万篇长篇文档训练模型,涵盖学术写作、创意写作和非虚构写作等八类。这些文档事先由 AI 文本检测工具 Pangram 判定为完全由 AI 生成或完全由人类撰写。团队先通过大语言模型(LLM)将文本提炼为包含主张、论证和证据等要素的大纲,再改写大纲以减少原文措辞的影响,使模型主要依据内容特征判断想法来源。
![]()
图源:报道截图
测试显示,IdeaLens 对 AI 想法的识别率约为 91%,将人类想法误判为 AI 生成的比例约为 1%。对于经 AI 润色等轻微修改的人类原创文档,其正确识别率平均为 95%,高于 Pangram 的 44%。不过,由于训练标签本身可能存在误差,且受控实验难以完全反映真实科研中的人机协作,检测结果仍不能直接证明一篇文章的想法究竟源自人类还是 AI。
来源:Nature News, Science News
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.