Компьютер читает образы из мозга человека

Японские ученые из Киотского университета под руководством Юкиасу Камитани создали нейросеть, которая может воссоздавать изображения предметов, основываясь на мозговой активности людей, которые на них смотрят.  С N+1 со ссылкой на препринт в bioRxiv.


Полученные в результате считывания мозговой активности изображения и исходные фотографии

Эту систему «обучали» в ходе эксперимента, когда испытуемым по пять раз показывали 1200 разных ихображений, а нейросеть запоминала мозговую активность, которая соответсвует каждому изображению.


Алгоритм работы нейросети

Чтобы создаваемые программой изображениябыли максимально похожи на оригинал, разработчики ввели дополнительную нейросеть — глубокая генеративная нейросеть (DGN). Ученые утверждают, что попиксельное сравнение исходного и полученного изображения оказалось эффективным на 79,7% без дополнительной DGN и на 76,1 — с ее использованием. Люди угадывали, что изображено на полученном изображении в 99,1% случаев с DGN и 96,5% без нее. По мнению ученых, это означает, что улучшение изображения с помощью дополнительной нейросети помогает людям узнавать картинки.

Ученые обещают, что продолжат совершенствовать технологию, поскольку пока лучшие результаты она показала при реконструкции простых форм и цифр, но не реальных объектов.

 

Похожие статьи

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *