Фото: consumer.huawei.com

StorySign был разработан при сотрудничестве Huawei, некоммерческого Европейского союза глухих, корпорации Penguin и анимационной компании Aardman. Приложение оптимизировано для смартфонов с операционной системой на базе AI, например для Huawei Mate 20 Pro, а также работает на большинстве других смартфонов с версиями Android 6.0 и выше. Приложение доступно для загрузки на Google Play и в AppGallery от Huawei в десяти странах Европы с 3 декабря 2018 года.

Язык жестов в разных странах отличается, поэтому после загрузки приложение попросит пользователя выбрать предпочтительный вариант языка. По умолчанию StorySign поддерживает жестовый язык в английской, французской, немецкой, итальянской, испанской, голландской, португальской, ирландской, бельгийско- фламандской и швейцарско-немецкой версии.

Пока что в главном разделе приложения размещена только одна одна книга: “Where’s Spot?” (“Где Спот?”) автора Эрика Хилла, написанная в 1980 году. Для использования приложения достаточно разместить телефон над страницей, чтобы аватар по имени Star начал переводить печатный текст на язык жестов. Перевод происходит в реальном времени – при переворачивании страницы Star автоматически транслирует печатный текст на языке глухонемых. Расшифровка возможна даже в том случае, когда телефон расположен под неудобным углом относительно книги – такую точность обеспечивает система OCR.

Недостаток у разработки только один: если у пользователя нет бумажной копии книги, приложение не будет работать.

По словам разработчиков, основной идеей приложения является возможность использования искусственного интеллекта для устранения границ между миром слышащих и глухих людей. В компании уверены, что в будущем приложения, подобные StorySign окажут существенное влияние на качество жизни глухих людей во всем мире.

Не только Huawei работает над созданием инклюзивных приложений. В начале 2018 года студенты Нью-Йоркского университета представили прототип приложения, объединяющего дополненную реальность (AR) и машинный интеллект для перевода жестового английского языка в письменную версию. А в 2017 году исследователи Калифорнийского университета в Сан-Диего создали перчатку, которая трансформирует язык глухонемых в текст.

 

Читайте также:

Mytaptrack – “умное” приложение для отслеживания состояния здоровья и обучения детей с аутизмом

AI способен транскрибировать слова произносимые «про себя»