“有一幅青蛙芭蕾舞演员的画，我认为结果非常好，”机器人研究所计算机科学学院博士生Peter Schaldenbrand说，他与FRIDA合作，探索人工智能和创造力。“这真的很愚蠢和有趣，我认为FRIDA根据我的输入生成的惊喜真的很有趣。

FRIDA以Frida Kahlo命名，代表发展艺术的框架和机器人计划。该项目由Schaldenbrand与RI教职员工Jean Oh和Jim McCann领导，吸引了CMU的学生和研究人员。

用户可以通过输入文字描述、提交其他艺术作品来激发其风格，或上传照片并要求其绘制其表现形式来指导 FRIDA。该团队也在尝试其他输入，包括音频。他们扮演了ABBA的“跳舞皇后”，并要求FRIDA画它。

“FRIDA是一个机器人绘画系统，但FRIDA不是艺术家，”Schaldenbrand说。“FRIDA没有产生沟通的想法。FRIDA是一个艺术家可以与之合作的系统。艺术家可以为FRIDA指定高级目标，然后FRIDA可以执行它们。

该机器人使用的AI模型类似于OpenAI的ChatGPT和DALL-E 2等驱动工具，它们分别生成文本或图像以响应提示。FRIDA模拟它如何用画笔描边绘制图像，并使用机器学习来评估其工作进度。

FRIDA的最终产品是印象派和异想天开的。笔触粗体。他们缺乏机器人努力中经常寻求的精度。如果FRIDA犯了一个错误，它会对它进行即兴演奏，将错误的油漆斑点纳入最终结果中。

“FRIDA是一个探索人类和机器人创造力交集的项目，”麦肯说。“FRIDA正在使用已经开发的AI模型来做一些事情，比如字幕图像和理解场景内容，并将其应用于这个艺术生成问题。

FRIDA在其艺术过程中多次利用人工智能和机器学习。首先，它花一个小时或更长时间学习如何使用画笔。然后，它使用在海量数据集上训练的大型视觉语言模型，这些数据集将从互联网上抓取的文本和图像配对，例如OpenAI的对比语言图像预训练（CLIP），以了解输入。人工智能系统使用这些模型根据提示生成新的文本或图像。

其他图像生成工具，如OpenAI的DALL-E 2，使用大型视觉语言模型来生成数字图像。FRIDA更进一步，使用其具身机器人系统来制作实体绘画。生成物理图像的最大技术挑战之一是缩小模拟与真实之间的差距，即FRIDA在模拟中组成的内容与其在画布上绘制的内容之间的差异。FRIDA使用了一个叫做real2sim2real的想法。机器人的实际笔触用于训练模拟器，以反映和模仿机器人和绘画材料的物理能力。

FRIDA的团队还试图通过不断完善他们使用的模型来解决当前大型视觉语言模型的一些局限性。该团队为模型提供了新闻文章中的标题，使其了解世界上正在发生的事情，并进一步训练他们更能代表多元文化的图像和文本，以避免美国或西方的偏见。这项多元文化合作项目由RI一年级硕士生刘志轩和Beverley-Claire Okogwu以及韩国东国大学访问硕士生Youeun Shin和Youngsik Yun领导。他们的努力包括来自中国、日本、韩国、墨西哥、尼日利亚、挪威、越南和其他国家的培训数据贡献。

一旦FRIDA的人类用户指定了他们想要创建的绘画的高级概念，机器人就会使用机器学习来创建其模拟并制定计划来制作绘画以实现用户的目标。FRIDA在计算机屏幕上显示一个调色板，供人类混合并提供给机器人。目前正在开发自动油漆混合，由建筑学院硕士生魏佳颖领导，机器学习系教师Eunsu Kang。

用画笔和油漆武装起来，FRIDA将进行第一笔画。每隔一段时间，机器人就会使用头顶摄像头来捕捉这幅画的图像。该图像可帮助FRIDA评估其进度并在需要时完善其计划。整个过程需要几个小时。

“人们想知道FRIDA是否会抢走艺术家的工作，但FRIDA项目的主要目标恰恰相反。我们希望通过FRIDA真正促进人类的创造力，“Oh说。“例如，我个人想成为一名艺术家。现在，我实际上可以与FRIDA合作，在绘画中表达我的想法。

有关FRIDA的团队于今年2月在伦敦举行的2年IEEE机器人与自动化国际会议上展示该项目的最新研究。