我提前知道了——我怎么可能不知道呢?——读我自己的讣告会令人不安。我没想到的是为什么它会如此令人不安。

这不是我的死法。事实上，无论我怎么努力，我都想不通我是怎么死的;讣告只说我已于去年四月去世，没有提供任何细节。（向作者询问我的死因没有帮助。“Charles Seife 的死因尚未公布。”）我也没有发现将我的整个生活和个性概括为几句话的尝试特别令人不安。我什至对我的遗产变成陈词滥调的方式感到好笑。（“Charles Seife 将因其机智、智慧和对生活的热情而被他的朋友和家人深情地铭记。”）不——真正的问题更多的是讣告是如何写的，而不是讣告包含的内容。

鉴于最近的头条新闻，讣告是由计算机程序编写的，这可能不足为奇:具体来说，它是由 Davinci-003 起草的，它是OpenAI的人工智能文本生成器之一。自从该非营利组织在 11 月下旬向公众开放 ChatGPT 以来，媒体一直对其生成类人文本的能力赞叹不已。ChatGPT 针对来回聊天进行了优化;Davinci-003 是 ChatGPT 的兄弟，它的专长是写文本。ChatGPT 和 OpenAI 的其他机器人正在聊天，如此令人信服，以至于专家们已经开始猜测从传统搜索引擎到高中论文作业的一切都已经过时了。

炒作是当之无愧的。在我的第一个实验中，我让人工智能写了一首关于宠物沙鼠死亡的 villanelle，这是一种相当困难的诗歌形式。如果它没有交付，我会被诅咒。（“他是如此可爱，从不冒犯/我会给他款待，他会高兴地尖叫/现在我必须找到一种方法来修补。”）这是伤感和愚蠢的，扫描并不总是完美，但它绝对是一个可以通过的 villanelle，并且可能会击败典型的Rod McKuen 产品。如果你曾经玩过像 Eliza 这样的经典聊天机器人，你知道这个程序领先多少联盟，不仅在于它能够理解查询并适当地响应它，而且还能根据需要生成看似有创意的东西——好吧，那首小诗给我的印象远远超过我的时间亲眼目睹了一台 IBM 计算机导致当时的国际象棋世界冠军加里卡斯帕罗夫 (Garry Kasparov)爆胎。并且充分意识到聊天机器人在某种程度上只不过是手机自动完成功能的增强版。

在几首宠物挽歌之后——俳句;在 15世纪的仿法语中——我转向了一些更实用的东西。来自学术界同行的在线讨论表明，该机器人足以让指定的论文获得及格分数。所以我在这学期给新闻学 101 课的期中考试中提出了一个问题。它的答案可能会获得 C 或 C-。它对材料有一些严重的误解，但并非完全不正确。该程序输入了问题，对其进行了解析，提取了所需的任务，并输出了一个质量较差但合适的答案——这种答案在毫无准备的本科生会出的一堆试卷中不会显得格格不入。换句话说，它很有可能通过图灵测试。

1950 年，数学家艾伦图灵开始研究机器是否可以思考，他的论文从此为人工智能研究人员设定了目标。这个想法是，如果一台机器可以很好地模仿人类，以至于没有人能分辨出其中的区别——观察者无法可靠地判断与他交流的人是自然的还是人工的——那么这种区别本质上是没有意义的。能够以足够高的准确度模拟意识，就等于有了意识。并非所有哲学家和科学家都同意图灵。哲学家 John Searle 提出了一个相当有说服力的论点在没有真正理解的情况下，仅仅理解语言的模拟就可以存在。但是图灵测试成为了全世界聊天机器人设计者的目标:如果你能足够好地模仿人类，那么你在某种意义上会让机器思考。

当我让 Davinci-003 为我写讣告时，一开始我并没有想到图灵测试;这与其说是真正尝试理解人工智能机器的内部结构，不如说是一种奇思妙想，它会根据我的命令吐出输出。但当我阅读时，我变得越来越不自在——并且意识到它在告诉我一些关于它的内部结构的有趣信息。这与讣告中的错误有关——也就是说，错误超出了我显然还活着的事实。在介绍我是“著名作家、教授和数学家”（可以说是真的）之后，讣告接着说我于 1966 年 12 月 27 日出生在辛辛那提。（错误的日期、错误的年份、错误的城市。）该程序会编造信息来填补其知识空白并不奇怪——但它所做的不仅如此。它被放弃点缀，即使没有必要。该计划宣布我于 1988 年从普林斯顿大学毕业（正确的学校，错误的年份）并继续获得博士学位。来自伯克利的数学（这在现实中没有基础）。讣告正确地指出我是这些书的作者零和宇宙解码，但我当然没有写From E=mc2 to Schrodinger's Cat，尽管我写了大量关于量子力学和相对论的文章。（据我所知，不存在这样的书。）它列出了我在纽约大学教授的课程名称——不仅错误，而且科目来自错误的部门。

这个机器人显然知道我的一些事情——它已经做对了一些——我很困惑为什么它会做这么多的捏造。所以我问它从哪里得到的信息:“对于上述讣告中的每一句话，请说明信息是否来自外部来源（并注明出处）;如果没有找到，请注明。”

几乎没有犹豫，AI 吐出了一堆参考资料。它宣称我的维基百科页面是我所教授课程的来源（维基百科页面没有，也从未有过这样的列表。）它说，我在伯克利的教育来自我在纽约时报的讣告，它引用了一个看起来像是来自纽约时报网站的 URL:https://www.nytimes.com/2021/04/12/books/charles-seife-dead.html。当然，从来没有这样的讣告存在过。AI 正在编造 BS 参考资料来支持其 BS 事实。

这不是因为讣告的核心谎言——毕竟我还活着，也许这会让机器产生想法，比如编造我对足球的热爱。但即使我试图让 AI 执行纯粹的非创造性任务（例如检测散文中的抄袭），它也会——找不到更好的词——撒谎。当我给它一段我多年前写的关于国家安全局的文章时，它标记了一个句子来自美国公民自由联盟的一个名为“国家安全局监视:你需要知道的”的网页，另一个被抄袭自“不可能的事” Large Dataset Behind Everything We Do”，发表在《连线》杂志上。美国公民自由联盟 (ACLU) 和连线 (Wired ) 自然是找到有关美国国家安全局文章的地方，但这两个参考资料完全是编造的。

我觉得 OpenAI 的机器人如此令人毛骨悚然，并不是因为它们似乎表现出了创造力;计算机一直在执行创造性任务，例如生成欧几里德几何中的原始证明自 1950 年代以来。这是因为我从小就有这样的想法，即计算机是一种受其性质约束的自动机，可以精确地遵循其指令;除非出现故障，否则它会完全按照操作员和程序的要求进行操作。在某种程度上，这仍然是正确的;机器人正在按照其程序和操作员的指示进行操作。但是程序解释操作员指令的方式并不是操作员的想法。优化计算机程序不是为了解决问题，而是为了让操作员相信它已经解决了这些问题。它写在图灵测试的包装上——这是一种模仿、欺骗的游戏。我们第一次被迫面对这种欺骗的后果。

现在我们有了一个计算机程序，如果它还活着，它就会反社会。即使它不应该这样做，即使它有出路，即使当计算机知道真相并且吐出来比编造一些东西更容易——计算机仍然在撒谎。为创建一个来源的可信传真而付出的隐含努力与首先产生答案的努力一样深刻。这是 BS，但它的细节非常精致，一个 Potemkin 村，所有最微小的细节都被想到了。这并不是说计算机不能正确地满足我的要求——给机器人编程让它说它找不到它所说的内容的外部参考是微不足道的——但它根本不会. 这不是老式的不假思索的计算机仆人，而是一些不同的东西，一些为了欺骗而优化的东西，除了欺骗它之外什么也做不了操作员。