Японские ученые из Киотского университета под руководством Юкиасу Камитани создали нейросеть, которая может воссоздавать изображения предметов, основываясь на мозговой активности людей, которые на них смотрят. С N+1 со ссылкой на препринт в bioRxiv.
Эту систему «обучали» в ходе эксперимента, когда испытуемым по пять раз показывали 1200 разных ихображений, а нейросеть запоминала мозговую активность, которая соответсвует каждому изображению.
Чтобы создаваемые программой изображениябыли максимально похожи на оригинал, разработчики ввели дополнительную нейросеть — глубокая генеративная нейросеть (DGN). Ученые утверждают, что попиксельное сравнение исходного и полученного изображения оказалось эффективным на 79,7% без дополнительной DGN и на 76,1 — с ее использованием. Люди угадывали, что изображено на полученном изображении в 99,1% случаев с DGN и 96,5% без нее. По мнению ученых, это означает, что улучшение изображения с помощью дополнительной нейросети помогает людям узнавать картинки.
Ученые обещают, что продолжат совершенствовать технологию, поскольку пока лучшие результаты она показала при реконструкции простых форм и цифр, но не реальных объектов.
