Исследователи из Израиля создали систему искусственного интеллекта, которая восстанавливает увиденное человеком изображение по данным сканирования мозга. Brain-IT передает расположение предметов, их форму и цвет точнее прежних методов, а для подстройки под нового человека модели хватает примерно часа записей.
Система получает данные функциональной МРТ. Сканер не фотографирует мысли и не записывает работу отдельных нейронов. Он отслеживает изменения кровотока и насыщения крови кислородом в разных участках мозга, а алгоритм ищет в этих изменениях признаки изображения, которое человек видел в момент сканирования.
Главная проблема прежних подходов крылась в генерации самой картинки. Нейросеть могла правильно определить, что перед человеком, например, собака или автомобиль, но затем дорисовывала сцену по собственным предположениям: меняла положение объекта, цвет, форму или фон. В итоге картинка оставалась правдоподобной, но хуже передавала реальное изображение.
Brain-IT разбивает задачу на две части. Одна ветвь восстанавливает общую композицию, формы и расположение объектов, другая определяет смысл изображения. Затем генеративная модель объединяет обе подсказки и собирает итоговую картинку. Такой подход помогает удержать не только содержание сцены, но и ее устройство.
Для обучения разработчики взяли открытый набор записей мозга восьми добровольцев, которые смотрели тысячи фотографий внутри мощного МРТ-сканера. При проверке на четырех участниках Brain-IT обошла предыдущие методы почти по всем использованным показателям качества и особенно хорошо передавала пространственное расположение объектов.
Еще одно преимущество касается настройки под нового человека. Мозг каждого участника немного отличается анатомически, поэтому алгоритму нужно понять, какие участки выполняют сходные функции. Brain-IT группирует области мозга по характеру их работы и переносит уже изученные закономерности между людьми. Благодаря этому примерно час записей нового участника дает качество, сопоставимое с прежними системами, которым требовалось около 40 часов. Час нужен именно для подстройки уже обученной модели, а не для обучения Brain-IT с нуля.
До настоящего чтения мыслей технологии пока далеко. Brain-IT восстанавливает изображения, которые человек действительно видел во время сканирования, и по-прежнему может ошибаться. Кроме того, функциональная МРТ требует большого томографа и неподвижного участника внутри аппарата, поэтому незаметно получить такие данные сейчас невозможно.
Разработчики хотят научить систему работать не только с неподвижными изображениями, но и с видео, звуком, воображаемыми сценами и сновидениями. Пока Brain-IT этого не умеет. Исследователи также изучают более простые способы считывания активности мозга, включая ЭЭГ, где электрические сигналы регистрируют электродами на коже головы.