IT NewsФакты и прогнозыТехнологии

Нейросеть научили «видеть мысли» человека

| 17.10.2019

Нейросеть научили «видеть мысли» человека

Фото. Реконструирование изображений. Слева стоит кадр видеоролика, который показывали испытуемому, справа — воссозданный нейросетью. Источник: Григорий Рашков

Исследователи российской «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент.

Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», использует электроэнцефалограмму (далее ЭЭГ), снимаемую с поверхности головы, и нейросети. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

img

Инфографика. Алгоритм работы интерфейса «мозг — компьютер». Источник: А. Бобе, дизайн — @tsarcyanide, пресс-служба МФТИ

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети.

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, — говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс». — Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты.»

Любопытно, что если посмотреть на видео, где показан процесс, то складывается впечатление, будто мы видим ассоциативную цепочку человека, словно он «вспоминает» чье-то лицо.

Нейронные сети

Компании сообщают

Мероприятия

02.04.2020
HotelCIO Exchange

Москва, Отель Бородино

02.04.2020
Cloudera Forum Moscow

on-line

10.04.2020
Финтех 2020

Москва, InterContinental

14.04.2020 — 15.04.2020
CONFERENCE FOR BEST BRANDS 2.0

Даниловский Event Hall, ул. Дубининская, д. 71, стр. 5