Исследователи из Университета Осаки создали нейросеть, способную реконструировать изображение, на которое смотрит человек. Результаты научной работы опубликованы в журнале bioRxiv.

В основе нейросети лежит программа Stable Diffusion, генерирующая картинки по ключевым словам. Для своего изобретения ученые добавили в качестве дополнительного буфера лишь человеческий мозг. Так, ИИ обучили читать данные мозговой активности по активности нейронов, а затем формировать базу данных. Часть сканов преобразовали в текст.

После того, как нейросеть просмотрела порядка десяти тысяч картинок, она должна была соотнести полученную текстовую и визуальную информацию с активностью мозга.

Получившиеся изображения на 80% совпадали с тем, что видели испытуемые.