Facebook Reality Labs: мы сможем управлять гаджетами прямо из мозга
Ученые из Калифорнийского университета в Сан-Франциско (University of California, San Francisco, UCSF) обнародовали итоги исследования, которое ускорит разработку интерфейса мозг-компьютер (brain-computer interface, BCI). В будущем исследование ляжет в основу создания приложений, которые помогут восстановить речевое общение пациентам с неврологическими повреждениями, создать новые интерфейсы управления гаджетами и очки AR/VR с новыми возможностями.
Работу, промежуточные итоги которой опубликованы на странице академической группы UCSF, спонсирует лаборатория Facebook Reality Labs.
Исследование ученых UCSF базировалось на использовании рекуррентных нейронных сетей (с обратной связью), новых методах машинного обучения, а также алгоритмах распознавания речи и перевода языка. Результаты показали, что слова и фразы, которые человек хотел бы произнести, могут быть декодированы из сигналов, записанных с поверхности мозга с высоким качеством – со средней частотой ошибок до 3% при тестировании со словарями до 300 слов – и практически в режиме реального времени. Для сравнения – в аналогичных исследованиях других ученых качество декодирования в интерфейсах «мозг-компьютер» было много ниже – частота ошибок составляла порядка 60% для словарей из 100 слов.
BCI будет говорить за тех, кто лишен речи
Инженер Эмили Мюглер (Emily Mugler) в начале 2000-х годов долгое время работала с пациентами, которые не могли говорить из-за бокового амиотрофического склероза (БАС). Для того, чтобы измерить электрическую активность мозга и облегчить таким пациентам общение, использовалась технология электрокортикографии (ЭКоГ). Однако этот метод общения был весьма трудным для пациентов, поскольку требовал размещения электродов непосредственно на коре головного мозга, а для того, чтобы напечатать на компьютере единственное предложение, пациенту иногда требовалось 70 минут. Именно эта работа мотивировала ее на поиск более эффективных способов помочь пациентам.
В 2017 году на конференции разработчиков F8 она узнала о планах Facebook Reality Labs по созданию компактного и полностью неинвазивного интерфейса, который позволял бы таким пациентам печатать, просто представляя себя говорящими, и приняла решение присоединиться к группе разработчиков. Facebook анонсировал работу над системой беззвучной речи, которая однажды будет способна печатать 100 слов в минуту «прямо из мозга» - примерно в пять раз быстрее, чем мы печатаем сегодня на наших смартфонах.
В течение последних лет команда ученых UCSF провела серию исследований определенных результатов.
Результаты исследования лягут в основу создания приложений, которые помогут пациентам с неврологическими повреждениями снова говорить, переводя мозговую активность в речь непосредственно в режиме реального времени.
Прорывная технология для бионических протезов нового поколения и управления гаджетами
Марк Шевилле (Mark Chevillet), директор исследовательской программы BCI в Facebook Reality Labs, работал в Лаборатории прикладной физики Университета Джона Хопкинса (APL), где занимался исследованиями в области прикладной нейробиологии. В рамках этих исследований были созданы протезы для раненых ветеранов боевых действий, сочетающие современную робототехнику и хирургически имплантированные электроды – именно такие протезы человек ощущает, как естественные части тела. Вдохновленный результатами, Марк Шевилле решил выяснить, можно ли использовать некоторые идеи из двигательного протезирования в когнитивной нейробиологии для изготовления особого вида коммуникационного протеза для людей, лишенных речи, используя неинвазивный подход.
Ученые Facebook Reality Labs, которую возглавил г-н Шевилле, должны были решить вопрос - возможен ли бесшумный речевой интерфейс в принципе, и если да, то какие нейронные сигналы необходимо задействовать для его работы. Коллега Шевилле, нейрохирург из UCSF Эдвард Чанг, руководитель исследовательской группы по картированию головного мозга, речевой неврологии и разработке новых методов лечения пациентов с неврологическими расстройствами, давно планировал разработку коммуникационного устройства для пациентов, которые больше не могли говорить после тяжелых черепно-мозговых травм, нейродегенеративных заболеваний и так далее. Но такая цель требовала значительных ресурсов, поэтому Эдвард Чанг и Facebook Reality Labs решили объединить усилия.
В работе участвовали добровольцы-исследователи с нормальной речью, которые проходили операцию на головном мозге для лечения эпилепсии.
Результаты исследования показали, что мозговая активность, записанная во время разговора, может быть использована для почти мгновенного декодирования того, что они говорят, в текст на экране компьютера. Команда UCSF смогла декодировать небольшой набор полных, произносимых слов и фраз из мозговой активности в режиме реального времени.
«Также, как и другие клетки тела, нейроны потребляют кислород, когда они активны. Таким образом, если мы можем обнаружить сдвиги в уровне кислорода в мозге, мы можем косвенно измерить мозговую активность. Мы можем использовать ближний инфракрасный свет для измерения оксигенации крови в мозге безопасным, неинвазивным способом. Это похоже на сигналы, измеряемые сегодня в функциональной магнитно-резонансной томографии (фМРТ), но с использованием портативного носимого устройства, изготовленного из деталей потребительского класса», - говорит Марк Шевилле.
Заключительная фаза проекта будет включать в себя годичное исследование, которое должно показать, можно ли использовать мозговую активность для восстановления способности одного участника исследования общаться в условиях инвалидности.
Ученые надеются достичь скорости декодирования в реальном времени 100 слов в минуту при словарном запасе в 1000 слов и частоте ошибок менее 17%.
Помимо этого, Шевилле решил использовать технологию BCI для взаимодействия людей со своими цифровыми устройствами. Технология голосового управления в качестве механизма ввода для умных домашних устройств и телефонов, набирающая популярность сегодня, далеко не всегда практична. К примеру, как ее использовать, если вы находитесь в переполненном зале или, наоборот, в тихой художественной галерее, идете по шумной городской улице, или просто находитесь в присутствии других людей?
«Мы не ожидаем, что новая технология решит проблему ввода для AR в ближайшее время. Сейчас он громоздкий, медленный и ненадежный. Но потенциал очень велик, поэтому мы считаем, что стоит совершенствовать эту технологию», - говорит ученый.
Мир через очки AR/VR
Как полагают эксперты, для Facebook результаты UCSF станут ключом к созданию следующего поколения иммерсивных персональных вычислительных платформ, которые должны заменить смартфоны.
По мнению сотрудника компании Facebook Reality Labs Майкла Абраша (Michael Abrash), мы стоим на пороге великих открытий в области вычислений, в которых объединенные технологии виртуальной и дополненной реальности (AR/VR) революционным образом изменят взаимодействие человека с окружающим миром.
«Представьте себе мир, где все знания, развлечения и полезная информация, которые могут представить современные смартфоны, становятся доступными владельцу мгновенно, без единого нажатия кнопки. Мир, где можно общаться с людьми, и делать это в любое время, независимо от внешних отвлекающих факторов, географических и даже физических ограничений. Это будущее, в которое мы верим, будет полностью реализовано в конечном форм-факторе пары стильных очков дополненной реальности (AR). Это будущее еще очень далеко, но проводимые сегодня исследования являются первым шагом на пути к нему. Это будет совершенно новое, прорывное решение. Через 10 лет способность печатать прямо из нашего мозга может быть принята как данность. Не так давно это звучало, как научная фантастика», - комментирует Майкл Абраш.
Опубликовано 06.04.2020