Фото: consumer.huawei.com

StorySign був розроблений у співпраці Huawei, некомерційного Європейського союзу глухих, корпорації Penguin і анімаційної компанії Aardman. Додаток оптимізовано для смартфонів з операційною системою на базі AI, наприклад для Huawei Mate 20 Pro, також він працює на більшості інших смартфонів з версіями Android 6.0 і вище. Додаток доступний для завантаження на Google Play і в AppGallery від Huawei в десяти країнах Європи з 3 грудня 2018 року.

Мова жестів у різних країнах відрізняється, тому після завантаження додаток попросить користувача вибрати бажаний варіант мови. За замовчуванням StorySign підтримує жестову мова в англійській, французькій, німецькій, італійській, іспанській, голландській португальській, ірландській, бельгійсько-фламандській і швейцарсько-німецькій версії.

Поки що в головному розділі програми розміщена тільки одна одна книга: “Where’s Spot?” ( “Де Спот?”) автора Еріка Хілла, написана в 1980 році. Щоб використати додаток достатньо розмістити телефон над сторінкою, і аватар на ім’я Star почне перекладати друкований текст на мову жестів. Переклад відбувається в реальному часі – при гортанні сторінок Star автоматично транслює друкований текст на мові глухонімих. Розшифровка можлива навіть в тому випадку, коли телефон розташований під незручним кутом щодо книги – таку точність забезпечує система OCR.

Недолік у розробки тільки один: якщо у користувача немає паперової копії книги, програма не буде працювати.

За словами розробників, основною ідеєю програми є можливість використання штучного інтелекту для усунення кордонів між світом чуючих і глухих людей. У компанії впевнені, що в майбутньому додатки, подібні StorySign покращать якість життя глухих людей в усьому світі.

Не тільки Huawei працює над створенням інклюзивних додатків. На початку 2018 року студенти Нью-Йоркського університету представили прототип додатка, що об’єднує доповнену реальність (AR) і машинний інтелект для перекладу жестової англійської мови в письмову версію. А в 2017 році дослідники Каліфорнійського університету в Сан-Дієго створили рукавичку, яка трансформує мову глухонімих в текст.