新智元报道
编辑：桃子
【新智元导读】DALL-E能绘制出怎样的抽象情感？
要说2022年人工智能领域发展有怎样的趋势？
一定要提到「多模态AI」的崛起，尤其是文本到图像生成工具。
从DALL-E到Imagen、Parti、女娲等，都可以生成高质量的图像，让人惊艳。
这当中最典型的例子便是OpenAI的Dall-E2了。
自Dall-E面世后，或许你见过它生成很多绘画风格的图片，比如宇航员在太空骑马。
然而，很少有通过Dall-E表现抽象概念的图片。
这不，一名机器学习科学家Gabriele Sgroi就来探索了DALL-E如何完成这项任务。
他测试了油画棒和绘画风格的悲伤，爱，愤怒，幸福，正义和非正义等主题。
油画棒风格
悲伤
愤怒
幸福
爱
绘画风格
悲伤
爱
愤怒
幸福
还有其他抽象概念的画作欣赏：正义与非正义
正义
非正义
Gabriele Sgroi相信绘画会更有洞察力，而不是将情感图像限制在人们的面部表情上。
本文中的所有图像（包括封面图像）都是使用 DALL-E 从给定提示中选择第一代提供的所有图像生成的。
从这些例子中可以看出，尽管并不总是可以清楚地识别出给定的情绪，但是DALL-E在绘画风格总体上展现出更抽象和复杂的图片。
其中，代表正义的图片大多描绘出一个希腊女神，但是代表非正义的图像确实让人琢磨不透。
总的来说，Sgroi观察到结果很大程度上取决于所选择的风格。
并且在大多数情况下，DALL-E会在生成的图纸上写下情感的名称。
总之，DALL-E 似乎对测试的情绪表现出一定程度的理解，将它们与面部表情以及通常与之相关的颜色或符号正确配对。
Sgroi表示，进一步研究不同风格之间相同情绪表征的差异，并检查观察到的正面和负面情绪之间的偏差是否在其他示例中仍然存在，这将是很有趣的。
DALL-E失败了吗？
讽刺的是，DALL-E 2宣称是擅长理解用于生成图像的文本提示。
但是有网友发现，当前无法理解文本时，便会将文字内容放置在生成的图片中。
如艺术家雷內·馬格利特的一幅画《这不是一支烟斗》。
还有一位人工智能Janelle Shane让DALL-E 2生成公司徽标，却发现没有一张图能正确拼出单词。
Waffle House生成示例
另外，你可以说 DALL-E 2了解一些科学定律。
因为它可以轻松描绘出坠落的物体，或者漂浮在太空中的宇航员。
但是，如果想要生成解剖图、X 射线图像、数学证明或蓝图，所得到的图像可能表面上是正确的，但根本上都是错误的。
就比如，按比例绘制太阳系的图片中，可以说是一塌糊涂，左下角地球形状，还有左上角类似荷包蛋的物体。
OpenAI研究员Aditya Ramesh解释道，它试图在不理解含义的情况下编造一些视觉上相似的东西。
所以DALL-E 2并不知道什么是科学，它只知道如何阅读文本并绘制插图。
还有让DALL-E 2生成人物面孔时，逼真到简直让人不敢相信。
在训练期间，OpenAI引入了deepfake保护措施，就是为了防止其记住经常出现在互联网上面孔。
如果上传的图像包含了真实的人物面孔，即使是不知名的人，系统便会拒绝生成内容。
但是，另一个问题便出现了，OpenAI表示，该系统针对具有单一关注焦点的图像进行了优化
就比如生成「一名宇航员凝视着地球，脸上带着渴望的表情」这种细致入微肖像生成还是非常成功的。
然而，让DALL-E一次生成多个人的图像时，直接崩溃了。因此它在生成集体照和人群场景中就会变得非常糟糕。
此外，DALL-E还会生成一些偏见的图像。
目前，OpenAI 的团队已经开始通过机器学习来纠正偏见。
例如，在 DALL-E 2 的训练期间，研究人员调整了训练方法并增加了女性图像的权重，因此它们更有可能被生成。
DALL-E未来会带来更多惊喜。
参考资料：
https://towardsdatascience.com/can-ai-draw-emotions-d13329f9fcaa
