Facebook开源其人工智能背后的计算机
将强大的人工智能软件开源,让世界上任何人都可以使用它,这似乎是科幻电影中的东西,但谷歌和微软最近几个月都在这样做。现在Facebook更进一步,向世界开放其强大的人工智能计算机硬件设计。
这是一个重大举措,因为虽然软件平台肯定可以使人工智能研究更容易、更可复制、更可共享,但如果没有强大的计算机,整个过程几乎是不可能的。
今天, Facebook宣布,它正在开源其服务器的设计——它声称服务器的运行速度是以前的两倍。新的设计名为Big Sur,除了中央处理器、硬盘和主板等计算机的其他传统部件之外,还需要八个高性能图形处理单元。但是Facebook表示,新的图形处理单元特别允许其研究人员使用两倍于机器学习模型的大小和速度。
为什么这很重要?
对于消费级设备来说,定期处理图像或音频可能会很费力。某些类型的人工智能必须分解并从1000万图片中学习才能从中学习。这个过程被称为训练,需要强大的计算能力。
首先,让我们建立一些基础知识——人工智能的弱点可能是令人畏惧和复杂的。人工智能是创建模仿人类思维和推理的人工系统的许多方法的总称。有很多方法可以做到这一点;目前最流行的方法是用于深度学习的不同种类的人工神经网络。这些网络必须经过训练,或者展示例子,然后才能输出信息。要让计算机了解猫是什么,你需要向它展示数百万张猫的照片(尽管Facebook的方法大大减少了这个数字)。神经网络是数学单元的虚拟集群,可以单独处理像像素这样的小块信息,当组合在一起并分层时,可以处理无限复杂的任务。
这意味着数百万张照片、短语或音频需要被分解,并由潜在的数百万个人工神经元在不同的抽象级别上查看。如果我们正在研究传统计算机中适合这项工作的部分,我们有两个选择:处理器(CPU)或图形处理器单元(GPU)。
CPU和GPU的区别
CPU是现代计算机的主要“大脑”,非常适合处理一些一般的计算任务。它的内核相对较少(在消费电脑和手机中为4-8个),但每个内核都有更深的缓存,可以在一件事上多次工作。它利用计算机的运行内存来获取进程中所需的数据。
GPU则恰恰相反。一个面向服务器的GPU可以有数千个内核,而内存很少,可以优化执行微小的重复任务(如渲染图形)。回到人工智能,GPU中的众多内核允许同时运行更多的计算,从而加快整个努力。Facebook人工智能研究的工程总监塞尔坎·皮安蒂诺表示,CPU曾经是这种繁重处理的首选,但大型项目需要大量网络芯片,比用GPU计算的还要多。
“”“GPU提供的好处是在一个地方实现了纯粹的计算密度,”Piantino说。“目前,GPU对于我们关心的许多网络来说都是最好的。”
Facebook表示,Big Sur与来自不同制造商的各种GPU合作,但他们特别使用了Nvidia最近发布的一款型号,该型号一直在大力推动他们的产品面向人工智能研究。在他们的图像训练CPU与GPU性能测试中,双10核Ivy Bridge CPU(读作:非常快)在2分17秒内处理了256张图像。他们的一个面向服务器的K40 GPU在28.5秒内处理了相同的图像。Facebook在Big Sur中使用的更新型号Nvidia的M40实际上更快。
许多英伟达设备还配备了计算统一设备架构(CUDA)平台,该平台允许开发人员将本机代码(如C或C++)直接编写到图形处理器,以更高的精度并行编排内核。 CUDA是许多人工智能研究中心的主要内容,如脸谱网、微软和百度。
复制人脑?
GPU是现代人工智能的主力,但一些研究人员认为,计算的现状并不是答案。2013年,联邦政府资助的国防高级研究计划局(DARPA)与IBM合作开展了SyNapse项目,目标是创造一种能够自然学习的新型计算机芯片——接收输入的行为本身就会教授硬件。结果是TrueNorth: 2014年宣布的一种“神经形态”芯片。
TrueNorth由54亿晶体管组成,这些晶体管被构造成100万的人工神经元。人工神经元构建2.56亿人工突触,当接收到数据时,突触将信息从一个神经元传递到另一个神经元。数据在神经元中传播,创造出可以转化为网络可用信息的模式。
在欧洲,一组研究人员正在开展一个名为FACETS的项目,即具有紧急瞬态的快速模拟计算。他们的芯片有20万个神经元,但5000万突触连接。IBM和FACETS团队已经将他们的芯片构建为可扩展的,这意味着能够并行工作以极大地提高计算能力。今年IBM聚集了48个TrueNorth芯片来构建一个4800万的神经元网络,麻省理工学院技术评论报告称,FACETS希望实现10亿个神经元和10万亿个突触。
即使有了这个数字,我们仍然远远没有重建人脑,人脑由860亿神经元组成,可能包含100万亿突触。(IBM在之前的TrueNorth试验中达到了这个100万亿的数字,但是芯片运行速度比实时慢1542倍,并且需要一个96机架的超级计算机。)
Knom和DARPA SyNapse校友的创始人Alex Nugent正试图用一种特殊类型的忆阻器带来计算的未来,他说这种忆阻器将取代在晶体管上运行的CPU、GPU和RAM。
忆阻器自1971年以来一直是科技行业的独角兽,当时计算机科学家Leon Chua首次提出了“缺失电路元素”理论理论上,忆阻器可以替代传统晶体管,而晶体管是现代计算机的组成部分。
晶体管可以以两种状态存在(开或关)。过于简单地说,计算机只不过是一大堆在开和关之间波动的晶体管。忆阻器使用电流来改变金属的电阻,这使得这些值具有更大的灵活性。忆阻器不像晶体管那样有两种状态,理论上可以有四到六个,这增加了忆阻器阵列可以容纳的信息的复杂性。
生物效率
Nugent与来自博伊西州立大学的硬件开发人员Kris Campbell合作,实际上创造了一种特定的芯片,该芯片与他所说的AHaH(反Hebbian和Hebbian)学习一起工作。这种方法使用忆阻器来模仿大脑中的神经元链。Nugent说,忆阻器根据施加的电压在双向步骤中改变其电阻的能力与神经元传输自身微小电荷的方式非常相似。这使它们能够随着使用而适应。由于它们的电阻充当自然记忆,忆阻器将打破一些研究人员所说的冯诺依曼瓶颈,即数据在处理器和RAM之间传输时产生的数据处理上限。
纽金特在接受《大众科学》采访时说:“AHaH计算说‘让我们从这个积木开始构建。’通过基本上利用这些‘神经元’,以不同的方式连接它们,并以不同的方式配对它们的输出,你可以进行学习操作。”
这就是纽金特如何看待这项工作不仅适用于一般计算,而且专门面向机器学习。
纽金特说:“一旦你把我们今天已经达到的密度与忆阻器配对,与使我们能够使用它的理论配对,你把芯片堆叠成三维,你最终会得到生物效率。”“你最终会得到智能技术。”
Facebook开源其人工智能背后的计算机