一个实验性的人工智能使用人类脑电波来再生图像

生成式人工智能程序在根据文本输入构建令人印象深刻的详细视觉图像方面越来越好，但日本大阪大学的研究人员向前迈出了一大步。他们利用人工智能从人类在看面前的图像时产生的大脑活动中重建准确、高分辨率的图像。

[相关：互联网上最受欢迎的生成式AI指南。]

正如《科学》杂志和其他媒体最近强调的那样，大阪前沿生物科学研究生院的一个团队的新论文详细介绍了他们是如何利用流行的人工智能图像生成程序稳定扩散将大脑活动转化为相应的视觉表现的。尽管以前有过许多类似的思想到计算机的图像实验，但这种测试是第一个使用稳定扩散的测试。为了进行额外的系统训练，研究人员将数千张照片的文本描述与志愿者通过功能磁共振成像（fMRI）扫描查看图片时检测到的大脑模式联系起来。

大脑中的血流水平根据被激活的区域而波动。例如，流向人类颞叶的血液有助于解码图像“内容”的信息，即物体、人、周围环境，而枕叶处理透视、比例和定位等维度质量。由四个人查看10,000多张图像生成的功能磁共振成像扫描的现有在线数据集被输入稳定扩散，然后是图像的文本描述和关键字。这使程序能够“学习”如何将适用的大脑活动转化为视觉表示。

[相关内容：ChatGPT正在亚马逊上悄悄地共同创作书籍。]

例如，在测试过程中，一个人看着一座钟楼的图像。功能磁共振成像记录的大脑活动与稳定扩散之前的关键词训练相对应，然后将关键词输入其现有的文本到图像生成器。从那里，根据枕叶的布局和透视信息，重建的钟楼被进一步详细描述，形成最终令人印象深刻的图像。

截至目前，该团队的增强稳定扩散图像生成仅限于四人图像数据库——进一步的测试将需要额外的测试人员的大脑扫描来进行训练。也就是说，该团队的突破性进展在认知神经科学等领域显示出巨大的希望，正如《科学》杂志指出的那样，甚至有一天可以帮助研究人员深入研究其他物种如何感知周围的环境。