OpenAI 已经关闭了其人工智能分类器,该工具声称可以确定文本段落是由另一个人工智能编写的可能性。尽管许多人使用它(也许是不明智地依赖它)来捕捉省力的作弊行为,但 OpenAI 因其广受批评的“准确率低”而将其退役。
人工智能生成的文本具有一些可以可靠检测的识别特征或模式的理论似乎很直观,但到目前为止,这一点尚未在实践中得到真正证实。尽管某些生成的文本可能有明显的信息,但大型语言模型之间的差异及其发展的速度使得这些信息几乎不可能依赖。
TechCrunch 对一系列人工智能写作检测工具的测试得出的结论是,它们充其量是命中或失败,最坏的情况是完全毫无价值。在提供给各种检测器的七个生成的文本片段中,GPTZero 正确识别了五个,而 OpenAI 的分类器仅正确识别了一个。那是一种即使在当时也不是前沿的语言模型。
但有些人只相信检测的表面意义,或者更确切地说,远远高于它的表面意义,因为 OpenAI 提供的分类器工具有一系列明显的限制,以至于人们想知道他们为什么要把这个东西推出来。担心学生、求职者或自由职业者提交生成文本的人会将其放入分类器中进行测试,虽然结果不应该被信任,但有时他们确实如此。
鉴于语言模型只是不断改进和激增,似乎该公司的某个人决定是时候让这个变化无常的工具下线了。“我们正在努力纳入反馈,目前正在研究更有效的文本来源技术,”分类器公告帖子的 7 月 20 日附录中写道。(Decrypt 似乎是第一个注意到这一变化的人。)
我询问了关闭分类器的时间和原因,如果收到回复,我会更新。但奇怪的是,这一切发生在 OpenAI 与其他几家公司一起在白宫主导的“自愿承诺”中,以道德和透明的方式开发人工智能的时候。
这些公司做出的承诺之一是开发强大的水印和/或检测方法。无论如何,或者试图这样做:尽管在过去六个月左右的时间里,每家公司都在发出这样的声音,但我们还没有看到任何水印或检测方法没有被轻易规避。