Инженеры Колумбийского Университета (США) создали систему, переводящую мысли в речь. Контролируя мозговую деятельность человека, она воспроизводит слова, которые мы проговариваем про себя, когда думаем. Подобное открытие является прорывом в области синтезирования речи и искусственного интеллекта, оно может открыть пути для новых способов взаимодействия компьютера и мозга.

По мнению ученых, система транскрипции мыслей в слова поможет людям с тяжелыми неизлечимыми заболеваниями, например тем, кто болен боковым амиотрофическим склерозом (болезнь Стивена Хокинга) или восстанавливается после инсульта. Автор исследования доктор Нима Месграни (Nima Mesgarani) заявила, что при использовании правильной технологии, можно расшифровать любую мысль человека и перевести ее в речь.

Как работает система?
Десятилетия исследований нейробиологов подтверждают: когда человек говорит вслух или даже произносит предложение про себя, в мозгу возникают характерные шаблоны активности. Четкая узнаваемая схема сигналов возникает в обоих случаях: когда мы действительно слушаем, как кто-то говорит, и когда представляем, что слышим чью-то речь. Ученые попытались расшифровать эти шаблоны, чтобы человек мог по собственному желанию переводить мысли в речь.

Предыдущие попытки расшифровки мозговых сигналов сводились к тому, что искусственный интеллект анализировал спектрограммы, являвшиеся визуальным отображением звуковых частот и пытался синтезировать звуки. Этот способ анализа не дал ничего похожего на понятную речь, и команда исследователей под руководством доктора Месграни использовала голосовой декодер в сочетании со специальным компьютерным алгоритмом. Интеллектуальная система смогла синтезировать речь после того, как прошла обучение на записях настоящих бесед людей. Подобная технология используется в устройствах Amazon Echo и Apple Siri для ответа на вопросы пользователя.

Для того, чтобы интеллектуальная система научилась распознавать активность мозга, ученые провели эксперимент на пациентах неврологического отделения. В ходе него пациенты, страдающие от эпилепсии, слушали записи речи, а ученые в это время фиксировали их мозговую активность. Звук, воспроизводимый «умной» системой в ответ на сигналы мозга, очищался от помех с помощью нейронной сети, и переводился в понятную речь. Так ученые получили роботизированный голос.

Мощный компьютер и нейронная сеть, работающие по уникальному алгоритму позволили исследователям получить результат, кардинально отличающийся от тех, что давал анализ спектрограммы. Теперь ученые планируют разработать имплант, который будет переводить слова или целые предложения, сказанные «в уме» в понятную речь. Например, если носитель импланта подумает «мне нужен стакан воды», система воспримет сигналы мозга, генерируемые этой мыслью, и синтезирует их в речь. Так люди, потерявшие возможность говорить из-за травмы или болезни, получат шанс восстановить привычный способ общения с окружающим миром.

Автор: Татьяна Козодой


Читайте также:

AI способен транскрибировать слова произносимые «про себя»

Приложение StorySign от Huawei переводит детские книги на язык жестов

Комментарии