ИИ смог перевести мозговые сигналы в предложения почти без ошибок

Эта система в будущем поможет восстановить речь пациентам, которые потеряли способность говорить из-за болезни.

Джозеф Макин из Калифорнийского университета и его коллеги использовали алгоритмы глубокого обучения для изучения мозговых сигналов четырех пациенток. Все они страдали эпилепсией, поэтому к ним уже прикрепили мозговые электроды, которые передавали данные о судорогах.

Каждую женщину попросили прочитать вслух набор предложений, в то же время команда фиксировала активность их мозга. Самая большая группа предложений содержала 250 уникальных слов. Команда подавала эту мозговую активность в алгоритм нейронной сети, обучая ее выявлять регулярно возникающие закономерности, которые могут быть связаны с повторяющимися аспектами речи — например, сочетанием гласных и согласных букв. Затем эти паттерны подавались во вторую нейронную сеть, которая пыталась превратить их в слова, чтобы сформировать предложения.

Каждый раз, когда человек говорит одно и то же предложение, мозговая деятельность будет схожа, но не идентична, объяснили исследователи. «Запоминание мозговой активности человека во время чтения предложений не поможет, поэтому алгоритм вместо этого должен понять, что схожего в паттернах и обобщить эти данные», — отмечает Макин.

Во время тестов наилучшие результаты ИИ содержали в себе лишь 3% ошибок. Исследователи уверены, что алгоритму помогло то, что пациентки зачитывали простые предложения с небольшим количеством уникальных слов. Но в некоторых случаях ИИ смог разобрать и отличить схожие по звучанию слова только по мозговой активности (например, cлова Tina и Turner).

Команда попробовала декодировать данные мозговых сигналов сразу в отдельные предложения. Но коэффициент ошибок сразу вырос до 38%. Исследователи отмечают, что пока ИИ не может быстро справиться с этой задачей. «Обычно люди знают и используют до 350 тыс. слов, но алгоритм не может их все расшифровать. Развивать его возможности будет невероятно трудно», — отмечают ученые.

Источник: Хайтек