研究人员成功地欺骗了人工智能，让它看到了错误的东西

人工智能让我们把任务卸载到机器上——它们开始给我们的照片贴上标签，驾驶我们的汽车，驾驶我们的无人机。这些人工智能系统在做这些事情时偶尔会做出错误的决定，正如最近特斯拉自动驾驶仪坠毁或听错语音命令所推测的那样。但新的研究表明，拥有人工智能经验的黑客可能会迫使这些算法做出错误且可能有害的决定。

研究人员在验证这些真实世界的攻击方面迈出了第一步，他们迫使人工智能算法对用智能手机拍摄的照片中的图像进行了高达97%的错误识别。在实验中，打印在纸上并用智能手机拍摄的图像的变化对人眼是不可见的，但在实验室之外，区别可能在于自动驾驶汽车看到了停车标志还是什么也没看到。

论文作者之一、OpenAI研究员伊恩·古德费勒表示：“你可以想象，有人签了一张看起来是100美元的支票，但自动取款机却把它读成了1000美元。”他还表示，这些攻击可以被用来通过诱使机器学习算法认为图片更有吸引力来提高搜索引擎优化，或者被金融机构用来诱骗竞争对手的人工智能股票交易商做出错误的决定。

古德费勒不知道这种攻击曾经在野外使用过，但他说这是人工智能研究人员绝对应该开始考虑的事情。

这项关于欺骗人工智能的研究已经存在多年，但之前的研究无法证明这种攻击是可信的，用普通相机拍摄真实物品的照片。这篇论文由埃隆·马斯克支持的OpenAI和谷歌撰写。论文证实，即使光线、视角、相机光学和数字处理发生了变化，攻击仍然可以成功。

为了测试这一漏洞，该团队将略微改变的图像打印在未改变图像旁边的纸上。如果直接输入算法，这些图像已经被认为会欺骗人工智能。然后他们使用Nexus 5X智能手机给纸张拍照。

研究人员裁剪了打印的图像，然后通过标准的图像识别算法进行运行。该算法不仅无法识别图片，而且97%的情况下，它甚至无法在前5个猜测中得到正确的结果。然而，根据图像变化的变化，结果确实下降了——通常变化更剧烈、更容易察觉的人的成功率更高。

他们的目的只是欺骗人工智能，让它看不到正常情况下会看到的东西。不过，在之前的研究中，这些被改变的图像可能会被视为特定的其他物体。研究人员没有解释使用的相机类型，但预计根据相机的光学特性进行调整会改善他们的结果。

其他研究也使用了同样的技术——但有音频——通过恶意语音命令诱骗安卓手机访问网站和更改设置。

该小组位于乔治城大学和加州大学伯克利分校，能够修改录制的语音命令，如“OK Google”，并扭曲它们，使其几乎无法被人类理解。

研究人员在乔治敦和伯克利的论文中写道：“隐藏的语音命令也可能在活动中通过扬声器广播，或者嵌入到热门的YouTube视频中，增加了一次攻击的范围。”该论文将于8月份在USENIX安全研讨会上发表。

像这样的公开攻击可能会触发智能手机或计算机（新注入虚拟个人助理）拉起恶意网站或将用户的位置发布到Twitter。

对于人工智能的某些用途，这些攻击可能是无害的——导致照片标签错误——但在机器人、航空电子设备、自动驾驶汽车甚至网络安全中——影响是真实的。