自OpenAI于 2022 年 11 月推出其GPT 聊天机器人以来，人们已经使用它来帮助他们撰写从诗歌、工作电子邮件到研究论文的所有内容。然而，虽然GPT可能伪装成人类，但其书写的不准确性可能会引入错误，如果用于学术写作等严肃任务，这些错误可能是毁灭性的。
堪萨斯大学的一组研究人员开发了一种工具，可以从人们撰写的文章中剔除人工智能生成的学术文章，准确率超过 99%。这项工作于 6 月 7 日发表在Cell Reports Physical Science杂志上。
堪萨斯大学化学教授、新论文的主要作者 Heather Desaire 表示，虽然她对GPT 的许多结果“印象深刻”，但其准确性的局限性促使她开发了一种新的识别工具。“像GPT 这样的 AI 文本生成器并不总是准确的，我认为让它们只生成准确的信息并不容易，”她说。
“在科学领域——我们正在建立地球的公共知识——我想知道如果人工智能文本生成在这个领域得到大量利用会产生什么影响，”Desaire 说。“一旦不准确的信息出现在 AI 训练集中，就更难区分真假了。”
“过了一会儿，[GPT 生成的论文] 给人一种非常单调的感觉。” -Heather Desaire，堪萨斯大学
为了令人信服地模仿人类生成的文字，像GPT 这样的聊天机器人接受了大量真实文本示例的训练。虽然结果乍一看通常很有说服力，但现有的机器学习工具可以可靠地识别人工智能干预的迹象，例如使用较少的情感语言。
然而，研究人员写道，广泛使用的深度学习检测器RoBERTa等现有工具在学术写作中的应用有限，因为学术写作已经更有可能省略情感语言。在之前对人工智能生成的学术摘要的研究中，RoBERTa 的准确率约为 80%。
为了弥合这一差距，Desaire 和她的同事开发了一种需要有限训练数据的机器学习工具。为了创建训练数据，该团队从《科学》杂志收集了 64 篇 Perspectives 文章（科学家在这些文章中对新研究发表评论），并使用这些文章生成了 128 个GPT 样本。这些GPT 样本包括 1,276 段文本供研究人员使用工具检查。
优化模型后，研究人员在两个数据集上对其进行了测试，每个数据集包含 30 篇人工撰写的原创文章和 60 篇GPT 生成的文章。在这些测试中，新模型在判断完整文章时准确率为 100%，在仅评估每篇文章的第一段时在测试集上的准确率为 97% 和 99%。相比之下，RoBERTa 在测试集上的准确率仅为 85% 和 88%。
通过这项分析，该团队发现，与人类相比，句子的长度和复杂性是人工智能写作的一些显着迹象。他们还发现，人类作家更有可能在他们的写作中提到同事的名字，而GPT 更有可能使用诸如“研究人员”或“其他人”之类的笼统术语。
总的来说，Desaire 说这让写作变得更加乏味。“总的来说，我会说人工撰写的论文更具吸引力，”她说。“AI 撰写的论文似乎打破了复杂性，无论好坏。但过了一段时间，他们对他们有一种非常单调的感觉。”
研究人员希望这项工作可以成为实践证明，即使没有广泛的机器学习知识，也可以利用现成的工具来识别人工智能生成的样本。
然而，这些结果可能只在短期内有希望。Desaire 及其同事指出，这种情况仍然只是GPT 可以完成的学术写作类型的一小部分。例如，如果GPT 被要求以特定人类样本的风格撰写一篇观点文章，那么可能更难发现差异。
Desaire 表示，她可以预见未来，像GPT 这样的 AI 会被合乎道德地使用，但她表示，身份识别工具需要随着技术的发展而不断发展，才能实现这一目标。
“我认为它可以像我们现在使用拼写检查一样安全有效地加以利用。为了清晰起见，AI 可以对基本完整的草案进行编辑，作为最后一步的修订，”她说。“如果人们这样做，他们需要绝对确定在此步骤中没有引入事实错误，我担心这个事实检查步骤可能并不总是严格执行。”
