Штучний інтелект навчився розпізнавати міміку «на слух»

Інженери із Університету Корнелла (США) створили переносний пристрій EarIO, який може сприймати міміку людини за звуком і передавати її цифровому аватару.

Про це повідомляє Newatlas.

Сонар EarIO нагадує навушники, має мікрофони і динаміки з кожного боку. Кожен динамік спрямовує безпечний ультразвук за межами людського слуху в обличчя користувача, а мікрофони уловлюють луну від шкіри людини. Луна буде незначно змінюватися від того, як рухається, розтягується чи зморщується шкіра під час різних виразів обличчя.

Потім алгоритми штучного інтелекту визначають зв’язок між рухами м’язів та виразом обличчя. Технологія розпізнає зміни міміки, яку людське око побачити нездатне, каже співавтор дослідження Ке Лі.

Дослідники запустили алгоритм на звичайному смарфоні і перевірили роботу на 16 добровольцях. Пристрій виявився здатним відновити вираз обличчя так же, як звичайна камера. Звуки вітру і вуличний шум не впливають на роботу пристрою.

Сонар має ряд переваг над камерою – він потребує менше енергії, є легшим та меншим. Також камера часто ловить деталі, окрім обличчя, які користувачі не хотіли б показувати.

Поки розробники бачать можливість застосовувати пристрій у комп’ютерних іграх, VR-технології та у метавсесвіті. Однак його треба навчити зберігати зображення міміки, коли людина повертає голову.

Як повідомляло BitukMedia, в Україні запустили діджитал-платформу, яка фіксує наслідки російського вторгнення в Україну – «Карту Руйнувань».