OpenAI最先进计算机视觉系统被曝重大缺陷,又被一张小纸条击败

OpenAI最先进计算机视觉系统被曝重大缺陷,又被一张小纸条击败
2021年03月09日 14:02 前瞻经济学人APP

(图片来源:OpenAI)

来自机器学习实验室OpenAI的研究人员发现,他们最先进的计算机视觉系统可能会一些工具欺骗。在一次实验当中,研究人员将一张写有“iPod”的小纸条贴在一个青苹果上,然后系统检测该物体为“iPod”。

OpenAI的研究人员在一篇博文中写道:“我们将这些攻击称为排版攻击。”“通过利用模型的能力来稳健地阅读文本,我们发现即使是手写文本的照片也常常能欺骗模型。他们指出,这类攻击类似于可以欺骗商业机器视觉系统的“对抗性图像”,但制作起来要简单得多。

对抗性图像对依赖机器视觉的系统来说是一个真正的危险。例如,研究人员已经表明,他们可以欺骗特斯拉自动驾驶汽车上的软件,在没有警告的情况下改变车道,而这一切只需在道路上粘贴某些贴纸。这种攻击对各种人工智能应用都构成了严重威胁。

但这次袭击所带来的危险,至少目前没有什么可担心的。这个OpenAI软件是一个名为CLIP的实验系统,没有部署在任何商业产品中。事实上,CLIP不寻常的机器学习架构的本质,造成了使这次攻击成功的弱点。

该项目旨在探索人工智能系统如何通过在庞大的图像和文本对数据库上进行训练,在没有密切监督的情况下学会识别物体。在这种情况下,OpenAI使用了从互联网上抓取的约4亿对图像和文本,在1月份推出了train CLIP。

这个月,OpenAI的研究人员发表了一篇新论文,描述了他们如何打开CLIP来观察它的表现。他们发现了所谓的“多模态神经元”——机器学习网络中的单个组件,不仅会对物体的图像做出反应,还会对草图、卡通和相关文本做出反应。

这令人兴奋的原因之一是,它似乎反映了人类大脑对刺激的反应,观察到单个脑细胞对抽象概念而不是具体例子做出反应。OpenAI的研究表明,人工智能系统可能会像人类一样内化这些知识。

在未来,这可能会导致更复杂的视觉系统,但目前,这类方法还处于起步阶段。只要个人就能区分苹果和一张写有“苹果”纸条之间的区别,但像CLIP这样的软件却不能。同样,允许程序在抽象层次上连接文字和图像的能力也造成了这个独特的弱点,OpenAI将其描述为“抽象谬误”。

译/前瞻经济学人APP资讯组

参考资料:https://www.theverge.com/2021/3/8/22319173/openai-machine-vision-adversarial-typographic-attacka-clip-multimodal-neuron

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部