Meta希望通过研究人脑来改进其人工智能

如果人工智能旨在模仿大脑，用人工神经元网络代替真实细胞，那么如果你将深度学习算法中的活动与人脑中的活动进行比较会发生什么？上周，元人工智能的研究人员宣布，他们将与神经成像中心神经旋转（CEA）和INRIA合作，试图做到这一点。

通过这种合作，他们计划分析人类大脑活动和深度学习算法，这些算法是在语言或语音任务上训练的，以响应相同的书面或口头文本。理论上，它可以解码人类大脑和人工大脑如何在语言中找到意义。

通过比较一个人在积极阅读、说话或倾听时与深度学习算法的大脑扫描，研究人员希望找到大脑生物学和人工网络之间的相似之处以及关键的结构和行为差异。这项研究可以帮助解释为什么人类比机器更有效地处理语言。

元人工智能的研究科学家让-雷米·金说：“我们正在做的是试图将大脑活动与机器学习算法进行比较，一方面理解大脑是如何运作的，另一方面试图改进机器学习。在过去十年里，人工智能在从物体识别到自动翻译的各种任务上取得了巨大进步。但是当涉及到可能没有很好定义或需要整合大量知识的任务时，至少与人类相比，人工智能系统今天似乎仍然面临相当大的挑战。”

[相关：语言正在训练人工智能复制人类偏见]

为了做到这一点，他们使用了全脑成像技术，如功能磁共振成像和magnetoencephalography（一种用于识别大脑活动对单个单词和句子的反应精确到毫秒的技术）。这使得他们能够跟踪大脑对单词的反应作为时间的函数。详细观察大脑将使研究人员能够看到当他们听到像“狗”或“桌子”这样的词时，哪些大脑区域是活跃的（例如，它可能是帮助人类理解隐喻的角回，或者是处理声音含义的韦尼克区）。然后，他们可以检查算法，看看它的功能是否与他们正在分析的大脑部分相似。例如，人工智能从感兴趣的单词中获得了什么属性？它是把这个词和它的发音联系起来，还是把它以前的用法联系起来？

[相关：谷歌的这个新的人工智能工具可能会改变我们在线搜索的方式]

在之前的研究中，他们已经能够观察大脑中行为类似于算法在视觉表示、词嵌入和语言转换器方面的行为。例如，金指出，经过训练进行字符识别或将像素转录成字母的算法，会产生与大脑中视觉部分相关的激活。

在2月份发表在《通信生物学》杂志上的一项研究中，元人工智能研究人员发现，与其他没有这种功能的算法相比，经过训练以预测句子上下文中被屏蔽的单词的深度学习算法表现得最像人脑。

金说：“这对我们来说是一个强烈的信号——它表明，根据过去试图预测未来可能类似于人脑试图做的事情。”

除了根据上下文预测缺失的单词之外，这些模型还能够在一系列任务上表现良好。金说：“所以这是我们应该努力开发深度学习算法的道路。”但仍然存在一些问题。具体来说，在我们成长为高效学习语言的过程中，我们在多大程度上需要大脑中的先天结构，而不是文化影响？你真正需要多少数据和参数来使语言模型发挥作用？

金说：“孩子们在几年内学会了说话，当你将这种数据与人工智能系统通常使用的数据进行比较时，[他们能够接触到的]句子数量非常少。”“这表明我们大脑内部有架构，使我们能够更有效地从语言数据中提取世界的结构——人们试图传达的意思。”

[相关：Facebook作为Meta的首批举措之一：教机器人触摸和感受]

另一方面，人工智能系统非常擅长特定任务，而不是一般任务。 然而，金说，当任务变得过于复杂时，即使它仍然是具体的，或者“需要不同层次的表示来理解世界是如何运作的，以及是什么激励人们以这样或那样的方式思考”，他们往往会达不到要求。例如，他指出，一些自然语言处理模型仍然被语法难倒。“它们捕捉了许多句法特征，但有时当你有一些嵌套的句法结构介于两者之间时，它们无法改变主语和动词。人类做这些类型的事情没有问题。”

金补充道：“信息的密度及其承载的深度是语言的一个显著特征。”这是当今的人工智能目前所缺乏的，可以解释为什么他们不能总是理解我们试图传达的内容。除了理解某些单词或短语的情感或情境背景之外，能够对一个问题有一般的了解可能是开发更好的自然对话人工智能系统的关键，有朝一日，人工智能系统可能会为未来的虚拟助手提供动力。

至于自然语言处理模型本身——实际上是被训练来试图理解语言的软件——元人工智能的一个独立团队正在构建一套基于开源转换器的语言模型，其中包含数百万甚至数十亿的参数。较小的模型运行起来需要较少的能量，但不太擅长复杂的文本，而且往往不那么准确。最大的模型有1750亿参数，大小与其他行业语言模型相似，如GPT-3。该团队还发布了相应的日志，详细说明他们是如何构建和训练模型的。

基于转换器的模型“既使用经过训练的机制来表示信息序列，也使用一种机制来关注数据中的焦点。它以自监督学习的方式进行训练。所以你隐藏了一段数据，你预测了它，然后你揭示了它是什么，看看你是对是错。如果它是错的，你就通过你的网络进行反向传播”来修复错误，元人工智能研究实验室主任乔尔·皮诺解释道。“它不需要额外的上下文，也不使用知识图谱。它是根据训练它的数据集查看语言中单词的分布。”

拥有一个好的语言模型是聊天机器人、对话代理、机器翻译和文本分类的重要组成部分，例如，可以用来对客户服务问题进行分类。皮诺说：“如果你使用的语言模型更丰富，所有这些应用程序都会更好。”

与谷歌一样，元人工智能正在开源他们的语言模型，以从其他研究人员那里获得反馈，包括那些研究这些大型人工智能系统的行为和伦理影响的人。皮诺希望这将使他们能够使经常像“黑匣子”一样工作的系统更加透明。

在元人工智能，大脑活动研究和语言模型的创建本身都是正在研究的众多人工智能相关功能中的两个。其他著名的项目集中在与感知-动作相关的领域，包括计算机视觉、机器人和视频。此外，元人工智能正在投资一台用于人工智能研究的超级计算机。尽管皮诺说，目前，这些研究主题中的许多仍然彼此独立，但很有可能所有这些主题最终都会在元宇宙中重叠和融合。