Интерфейс "мозг-компьютер": Парализованная женщина заговорила через аватар
Исследователи из Калифорнийского университета в партнерстве с шотландской компанией Speech Graphics разработали новаторскую систему связи, которая позволила женщине, парализованной после инсульта ствола мозга, общаться через цифровой аватар – им она управляла с помощью интерфейса “мозг- компьютер” (BCI).
BCI-устройства позволяют отследить аналоговые сигналы, созданные мозгом, и превратить их в цифровые, которые могут понять компьютер.
Исследователи кафедры неврологической хирургии имплантировали в языковой центр мозга пациентки 253-контактный массив электродов, который отслеживает и фиксирует сигналы, обычно приводящие в движение мышцы челюсти, губ и языка – а в этом случае передавали их через кабельный порт в ее голове к компьютеру. Вычислительный стек работает с помощью искусственного интеллекта, который в течение нескольких недель изучал шаблоны электрических сигналов пациентки из более 1000 слов.
Используя интерфейс, пациентка смогла написать свои ответы или говорить с помощью искусственного голоса, обученного на записях ее собственного.
Остальную работу по созданию цифрового аватара выполнила Speech Graphics. Инструмент получил необходимые движения лица на основе анализа входного аудио, а затем передал эти данные в режиме реального времени в игровой двигатель, чтобы анимировать их в аватар без задержек.