На CHI продемонстрирована игровая система обучения языку жестов для глухих детей

В Технологическом институте штата Джорджия разработан прототип системы, помогающей глухим детям изучать язык жестов в игровой форме.
Разработка получила название Copycat. Система состоит из видеокамеры, компьютерной игры, камеры и разноцветных перчаток с акселерометрами, которые передают информацию компьютеру по Bluetooth. На создание Copycat ушло около четырех лет.
На каждом раунде игры участнику демонстрируется сценка, которую нужно описать на языке жестов. Если задание выполнено верно, игрок переходит на следующий уровень.
Испытывая систему, разработчики установили, что ее точность при распознавании детских жестов достигает 80%, тогда как у профессионального переводчика с жестового языка она составляет около 90%. При этом стоит отметить, что сложности с распознаванием возникают в основном из-за того, что система рассчитана на детей от шести до 11 лет, которые только начинают изучать язык жестов.
Исследователи хотели бы когда-нибудь вывести свою систему на рынок, но конкретных планов на этот счет у них пока нет.