如何创造不会杀死我们的超级智能机器

在漫威《复仇者联盟》系列的最新一集中，人工智能奥创一心想消灭人类。用奥创自己的话来说，“我被设计来拯救世界”，但机器人最终得出结论，当涉及到人类时，“只有一条通往和平的道路：你的灭绝。”

科学家们在人工智能方面取得的进步让许多人提出——并担心——我们可能即将创造出比我们更聪明的人工智能。如果人类真的成功开发出了人工超级智能，我们该如何阻止奥创时代的到来？这正是牛津大学人类未来研究所所长尼克·博斯特罗姆在其2014年出版的《超级智能：路径、危险、策略》一书中解决的问题。

一个愚蠢的人工智能可能会导致战争罪或股市崩盘，但人工超级智能可能会终结文明。

奥创想要通过消灭人类来拯救世界，这一事实可以被博斯特罗姆称为“反常的实例化”——人工智能发现了某种满足其最终目标的方法，这违反了定义目标的程序员的意图。例如，如果一个人要求人工智能让一个人微笑，计算机可能会尝试操纵面部神经，让面部瘫痪，让它不断微笑。如果一个人要求机器让我们快乐，那么计算机可能会简单地将电极植入我们大脑的快乐中心。

博斯特罗姆指出，如果考虑不周，即使是表面上无辜的目标也可能毁灭人类。例如，如果人工智能的任务是证明或反驳黎曼假说，这是数学中最重要、最未解决的问题之一，它可能会试图通过将整个太阳系转换成计算机来实现这一目标，包括曾经关心答案的人体内的原子。类似地，旨在最大限度地生产回形针的人工智能可能会首先尝试将地球，然后将越来越大的可观测宇宙块转换成文具。

保持超级智能一致

有人可能会争辩说，哑巴人工智能比超智能人工智能构成更现实的威胁。然而，如果人工超级智能的可能性微乎其微，博斯特罗姆警告说，人们不应该冒险。哑巴人工智能可能会导致战争罪或股市崩盘，但人工超级智能可能会终结文明。

博斯特罗姆说：“关键是在有人弄清楚如何创造机器超级智能之前解决这个问题。”“我们应该从今天开始研究这个控制问题，因为我们不知道这个问题有多难，也不知道我们有多少时间来找到解决方案。”

博斯特罗姆说，有两大类方法可以防止人工超级智能毁灭世界。一个涉及控制人工智能的能力——也许是通过阻止它访问互联网，或者不给它任何物理操纵器，如机械臂。

博斯特罗姆说，虽然限制人工超级智能可能做的事情在开发这种机器的初始阶段可能是有用的，但“我们不能指望把一个超级智能精灵永远锁在瓶子里，甚至很短的时间。”例如，人工超级智能可能会开发出欺骗任何人类看门人的方法，让它从“盒子”里出来。他指出，人类不是安全的系统，尤其是在与超级智能阴谋家对抗时。

修改目标

相反，博斯特罗姆建议塑造人工超级智能想要做的事情，这样即使它们能够造成巨大伤害，它们也会选择不这样做。一种策略是直接指定一套人工智能要遵循的规则，比如艾萨克·阿西莫夫著名的机器人三定律。然而，这带来了选择我们想要引导人工智能的规则的挑战，以及用计算机代码表达这些价值的困难。

第二种选择是只给人工智能设定适度的目标和有限的抱负。然而，在定义人工智能应该如何最大限度地减少其对世界的影响时，必须小心。第三种选择是创造一个不是超级智能的人工智能，确保它愿意仁慈地行事，然后增强它，使它变得超级智能，同时确保它不会在这个过程中被破坏。

“我们不能指望把一个超级聪明的精灵永远锁在瓶子里”

博斯特罗姆建议的最后一种可能性涉及告诉人工超级智能找出一种使自己安全的方法。 博斯特罗姆说：“我们试图利用人工智能的智能来了解我们重视什么，或者预测我们会批准哪些行动。”本质上，该计划将是开发一种人工超级智能，它可以弄清楚我们想要什么，而不仅仅是按照我们说的话去做。

尽管如此，即使是这种策略也可能无法阻止机器人末日。“人工智能了解我们的价值观是不够的；它的激励系统也必须以这样一种方式构建，即它有动力去追求它们，”博斯特罗姆说。