Досить лицьової артикуляції: окуляри з ШІ “чують” беззвучне мовлення свого власника (ВІДЕО)

EchoSpeech – окуляри, які розпізнають беззвучне мовлення. Вони здатні “чути” рухи губ і рота свого власника завдяки акустичним датчикам та штучному інтелекту (ШІ). Це розробка вчених з Корнельського університету США. Окуляри можуть використовуватися як стандартний пристрій введення.

Про це розповідає TechXplore.

Автор нового проєкта – аспірант Корнельського університету Руйдонг Чжан. В первинному варіанті своєї розробки він встановив камери на бездротові навушники. Але з окулярами все ж зручніше: користувачу не потрібно дивитися в камеру або вставляти щось у вухо. Дані з встановлених на окуляри динаміків та мікрофонів бездротовим каналом передаються на смартфон, а там обробляються алгоритмами штучного інтелекту (ШІ).

При першому використанні EchoSpeech потрібно відкалібрувати – аби ШІ міг вивчити особливості міміки користувача. Інтерфейсу EchoSpeech треба тільки кілька хвилин навчання, щоб розпізнавати команди людини та передавати їх на смартфон. Крихітні мікрофони та динаміки приймають звукові сигнали на обличчі та “відчувають” рухи рота, а алгоритм аналізує їх у реальному часі з точністю близько 95%.

Використання смартфона для обробки даних дозволяє окулярам залишатися компактними, забезпечувати їм до 10 годин автономної роботи та гарантувати, що вся інформація залишиться на телефоні – його продуктивності достатньо для локальної обробки всіх даних.

В майбутньому EchoSpeech допоможе людям з німотою «повернути їхні голоси», пояснює розробку Руйдонг Чжан, докторант інформаційних наук та автор книги з однойменною з технологією назвою.

На практиці в EchoSpeech може бути безліч різних застосувань: управління програмами на ПК, беззвучне управління музичним програвачем без рук, можливість диктування повідомлення на гучному концерті тощо.

Зараз EchoSpeech можна використовувати для спілкування через смартфон у місцях, де неможливо або недоречно розмовляти вголос, наприклад, у переповненому транспорті або в бібліотеці. Окуляри виглядають мінімалістично, тому проблем із їх носінням бути не повинно. 

Тепер автори проєкту розглядають можливості виведення технологій на ринок за участю програми фінансування, що діє в Корнельському університеті.

Як розповідало раніше BitukMedia, штучний інтелект навчився прогнозувати результат лікування раку.