视频游戏技术、人工智能和计算机视觉如何帮助解码动物疼痛和行为

2013年，桑德普·罗伯特·“鲍勃”·达塔在波士顿哈佛医学院的神经生物学实验室工作时，他做出了一个决定性的决定，把他的学生亚历克斯·威尔琴科送到街上的百思买。威尔琴科的任务是购买一台Xbox Kinect相机，旨在为《舞力全开》和《国际足联》等视频游戏捕捉玩家的身体动作。他花了大约150美元，带着它离开了。这款不起眼的消费电子产品将决定实验室未来十年及以后的方向。

它还让该团队置身于一场日益壮大的科学运动之中，这场运动正处于人工智能、神经科学和动物行为的交叉点——这一领域有望改变研究人员利用其他生物研究人类健康状况的方式。Datta实验室正在学习追踪老鼠运动的错综复杂的细微差别，了解哺乳动物大脑如何创造行为的基础知识，理清不同健康状况的神经科学，并最终为人类开发新的治疗方法。这一研究领域依赖于所谓的“计算机视觉”来分析动物的视频片段，并检测肉眼无法察觉的行为模式。计算机视觉还可用于自动检测细胞类型，解决研究癌症和肠道微生物群等复杂组织的研究人员面临的一个长期问题。

2010年代初，达塔的实验室正在研究嗅觉——“对大多数动物来说最重要的感觉”，以及老鼠赖以生存的感觉——是如何驱动啮齿动物对环境中的操纵做出反应的。人类观察者传统上会跟踪老鼠的行为，并记录他们的观察——老鼠在恐惧中冻僵了多少次，它爬起来探索它的围栏的频率，它花了多长时间梳理毛发，它埋了多少弹珠。达塔想超越肉眼可见的运动，利用摄像机来跟踪和计算啮齿动物是避免气味（例如捕食者尿液的气味）还是被气味吸引（比如玫瑰的气味）。当时可用的工具——将每只动物作为一个点跟踪的二维头顶摄像机——没有产生足够详细的数据。

达塔说：“即使在完全没有刺激的黑暗竞技场中，（老鼠）也会产生这些令人难以置信的行为动态——这些动态都不会被屏幕上弹跳的圆点捕捉到。”因此，威尔茨科认为Xbox Kinect相机是一个潜在的解决方案。2010年推出后不久，人们开始出于科学和娱乐目的入侵硬件。达塔的实验室用它来跟踪老鼠是合适的：它可以在黑暗中使用红外光进行记录（老鼠在黑暗中移动得更多），并且可以通过测量物体离传感器的距离来以3D形式看到安装在头顶上的物体。这使得达塔的团队能够在受试者跑来跑去、站起来或蹲下时跟踪他们。在分析最初的结果时，它意识到Kinect相机记录了动物的动作，其丰富性是2D相机无法捕捉到的。

达塔说：“这让我们想到，如果我们能以某种方式识别数据中的规律，我们也许就能识别出动作的主题或模块。”通过观察Kinect传感器的原始像素数，即使是压缩图像文件，也没有任何复杂的分析，他们开始看到这些规律。不管有没有引入气味，每几百毫秒，老鼠都会在不同类型的运动之间切换——抬起头、摇头、转身。在第一次Kinect测试后的几年里，达塔和他的团队试图开发软件来识别和记录动物串在一起创造行为的基本运动组成部分的基本元素。

但他们一直走在死胡同。

“有很多很多方法可以获取数据并将其分成几堆。我们尝试了很多方法，很多年了，”达塔回忆道。“我们有很多很多错误的开始。”

他们尝试根据动物的姿势从单帧视频中对结果进行分类，但这种方法忽略了运动——“让行为变得神奇的东西，”达塔说。所以他们放弃了这种策略，开始考虑持续几分之一秒并构成行为的较小运动，并按顺序进行分析。这是关键：认识到运动既是离散的又是连续的，由单位组成，但也是流动的。

所以他们开始使用尊重这种双重身份的机器学习工具。