В Microsoft Research при участии исследователей из Университета Вашингтона реализовали метод ввода текста взглядом, сделав его значительно более доступными для людей с недостатком двигательной способности, например, страдающих боковым амиотропическим склерозом, который диагностирован у Стивена Хокинга.
Специальное оборудование, позволяющее пациентам «печатать глазами», существовало и раньше. Обычно оно работает так: сидящий перед камерой пользователь сначала переводит взгляд в сторону одной из нескольких групп букв, а вторым движением глаз выбирает конкретную букву в группе, затем повторяет это с каждой следующей буквой. Для отслеживания направления взгляда в таких системах используются инфракрасные датчики, которые плохо работают при свете, а стоимость всего комплекта может составлять 5-10 тыс. долл.
Ученым из Microsoft Research удалось не только значительно удешевить систему, но и упростить сам процесс ввода. Приложение Eye-gaze работает на обычном смартфоне и следит за глазами через его камеру. Из дополнительного оборудования понадобится лишь картинка с буквами, а сам смартфон даже не нужно закреплять на штативе. Благодаря отказу от инфракрасных датчиков Eye-gaze можно использовать при ярком солнечном свете.
Программа сканирует и захватывает изображение глаз с помощью технологии распознавания изображений, после чего соотносит каждое движение глаз с соответствующими командами.
Упрощение процесса печати достигается благодаря прогнозирующему механизму ввода текста, знакомой любому, кто пользовался телефоном с кнопками. Групп букв в Eye-gaze всего четыре, и пользователю достаточно выбирать лишь группу, но не букву в ней. Для удаления введенной буквы нужно моргнуть левым глазом, а для подтверждения слова — правым. Ассистент, держащий в руках телефон с Eye-gaze, видит список подсказок и может помогать вводить слова, выбирая подходящие по контексту варианты.