OpenAI推出根据文字描述生成图片的AI模型

据外媒，知名公司OpenAI近日推出两套多模态人工智能系统模型DALL-E和CLIP，DALL-E可以基于文本直接生成图像，CLIP能够完成图像与文本类别的匹配。DALL-E可以将以自然语言形式表达的大量概念转换为恰当的图像，并使用了GPT-3 同样的方法，只不过DALL-E将其应用于文本-图像对。

另一个CLIP能够执行一系列视觉识别任务。给出一组以语言形式表述的类别，CLIP能够立即将一张图像与其中某个类别进行匹配，而且它不像标准那样需要针对这些类别的特定数据进行微调。在ImageNet基准上，CLIP的性能超过ResNet-50，在识别不常见图像任务中的性能远超ResNet。

虽然CLIP在识别常见对象时往往表现良好，但在计算图像中对象数量等更抽象或更系统的任务，以及预测照片中最靠近车辆间的距离等更复杂任务上的表现不佳。在这两项任务上，zero-shot CLIP的效果也只比随机猜测好一点。

(7601324)