Інженери Колумбійського Університету (США) створили систему, що переводить думки в мову. Контролюючи роботу мозку людини, вона відтворює слова, які ми промовляємо про себе, коли думаємо. Подібне відкриття є проривом в області синтезування мови і штучного інтелекту, воно може відкрити шляхи для нових способів взаємодії комп’ютера і мозку.

На думку вчених, система транскрипції думок у слова допоможе людям з важкими невиліковними захворюваннями, наприклад тим, хто хворий на бічний аміотрофічний склероз (хвороба Стівена Хокінга) або реабілітується після інсульту. Автор дослідження доктор Німа Месграні (Nima Mesgarani) заявила, що при використанні правильної технології, можна розшифрувати будь-яку думку людини і перевести її в мову.

Як працює система?

Десятиліття досліджень нейробіологів підтверджують: коли людина говорить вголос або навіть вимовляє речення про себе, у мозку виникають характерні шаблони активності. Чітка впізнавана схема сигналів виникає в обох випадках: коли ми дійсно слухаємо, як хтось говорить, і коли уявляємо, що чуємо чиюсь мову. Вчені спробували розшифрувати ці шаблони, щоб людина могла за власним бажанням переводити думки у слова.

Попередні спроби розшифровки мозкових сигналів зводилися до того, що штучний інтелект аналізував спектрограми, які були візуальним відображенням звукових частот і намагався синтезувати звуки. Цей спосіб аналізу не дав нічого схожого на зрозумілу мову, і команда дослідників під керівництвом доктора Месграні використала голосовий декодер у поєднанні зі спеціальним комп’ютерним алгоритмом. Інтелектуальна система змогла синтезувати мову після того, як пройшла навчання на записах справжніх бесід людей. Подібна технологія використовується у пристроях Amazon Echo і Apple Siri для відповіді на питання користувача.

Для того, щоб інтелектуальна система навчилася розпізнавати активність мозку, вчені провели експеримент на пацієнтах неврологічного відділення. Під час цього пацієнти, які страждають від епілепсії, слухали записи мови, а вчені у цей час фіксували їх мозкову активність. Звук, відтворений «розумною» системою у відповідь на сигнали мозку, очищувався від перешкод за допомогою нейронної мережі, і переводився у зрозумілу мову. Так вчені отримали роботизований голос.

Потужний комп’ютер і нейронна мережа, працюючі по унікальному алгоритму, дозволили дослідникам отримати результат, що кардинально відрізнявся від того, який давав аналіз спектрограми. Тепер вчені планують розробити імплант, який буде переводити слова або цілі речення, вимовлені «в умі» на зрозумілу мову. Наприклад, якщо носій імпланта подумає «мені потрібен стакан води», система сприйме сигнали мозку, що генеруються цією думкою, і синтезує їх у мова. Так люди, що втратили можливість говорити через травму або хворобу, отримають шанс відновити звичний спосіб спілкування з навколишнім світом.

 

Читайте також:

AI здатний транскрибувати слова вимовлені «про себе»

Додаток StorySign від Huawei перекладає дитячі книги на мову жестів

Автор: Тетяна Козодой


Коментарi