Как я могу общаться с моей кузиной, когда она может только двигать глазами? - PullRequest
9 голосов
/ 18 ноября 2009

Прошу прощения, если это недостаточно связано с программированием. Короче говоря, непрограммируемая часть: мой двоюродный брат только что поступил в реанимацию с Гийен Барре и ухудшается. Она (вероятно) выздоровеет физически через пару месяцев, но страдает от сильной депрессии и приступов паники, поскольку она по существу застряла в оболочке тела, над которым она теряет контроль. У нас может быть только еще пара дней, когда традиционные методы общения с ней будут полезны. Однако я понимаю, что она, скорее всего, будет контролировать свои глазные мышцы.

Итак, вопрос в том: знает ли кто-нибудь хорошую библиотеку отслеживания взгляда, которую я могу использовать с потребительским оборудованием (у меня есть MacBook Pro под рукой, на котором я могу установить Windows или Linux, и могу приобрести от потребительского до профессионального уровня) камеры), чтобы создать очень простой визуальный интерфейс ввода с?

По существу, чтобы она могла смотреть на клавиатуру (во весь экран) и моргать, чтобы щелкнуть по клавише. Или что-то типа того. Это должно быть что-то, с чем она уже знакома (QWERTY), так как сейчас она испытывает МНОГО стресса.

Я просто пытаюсь получить базовую рабочую демонстрацию, чтобы убедить ее семью в том, что она работает. К сожалению, они отрицают, насколько плохо она собирается стать, поэтому я хочу быть готовым.

Спасибо за вашу помощь!

Ответы [ 3 ]

6 голосов
/ 18 ноября 2009

Прежде чем я получу все нетехнические, проверьте Dasher . Я долгое время использовал его на своем портативном устройстве, чтобы печатать длинные сообщения, и это работает как шарм. Никакой охоты и клевания, просто смотрите в том направлении, в котором вы хотите, чтобы он двигался (я использовал стилус).

Мой дедушка был парализован от глаз вниз от инсульта, когда я был еще ребенком. Моя бабушка разработала способ разговаривать с ним, используя кусок картона. У нее было три ряда букв: 1-я половина, 2-я половина и 3-я половина (да, третья половина. Почему, я не знаю). В первой половине были буквы A-H, во второй - I-Q, в третьей - R-Z. Она держала карточку в руках и просматривала его сообщения по буквам. Он моргал, когда хотел выбрать букву.

Сначала она спросит, какая половина: "Первая половина? Вторая половина?" и т.д. Он моргал, когда она была на правильном. Затем она начинала читать буквы, и он моргал, когда она подходила. Она исправит это.

Там не было "пробела", поэтому вам нужно сделать некоторые догадки, чтобы определить некоторые значения.

Конечно, это не так "технично" или круто, как вы могли бы надеяться, но это чертовски много личного, чем холодное моргание на экране компьютера. Кроме того, если семья собирается использовать это с ней, угадайте, кто будет касаться компьютера, когда вы уйдете? Не ты и не она. И семьи не очень хороши с компьютерами.

Просто предложение, и на его изготовление уходит всего около пяти минут, требуется шулер и коробка с пиццей, и всего лишь минута или две, чтобы объяснить. Конечно, это утомительно, но это также

2 голосов
/ 06 декабря 2018

Понимая, что оригинальная запись была сделана несколько лет назад, и, как раз случайно натолкнулась на нее сейчас, я хочу поделиться следующим, если кто-то еще ищет текущие решения.

Windows 10, по состоянию на обновление Fall Creator, имеет встроенную поддержку Eye Control , и эта функция также включает в себя речевую клавиатуру для связи.

Эта функция работает с любыми поддерживаемыми устройствами слежения за глазами, одним из которых является недорогой, но высококачественный продукт, ориентированный на потребителя, - Tobii Eye Tracker 4C .

Для программистов Windows 10 предоставляет API-интерфейсы Gaze , а также имеется библиотека gazeinteraction с открытым исходным кодом , которая является частью набора инструментов сообщества Windows, что упрощает создание приложения uwp. который отвечает вашим глазам.

2 голосов
/ 18 ноября 2009

это достаточно связано, поскольку вы спрашиваете о программных решениях, хотя я предлагаю переименовать вопрос.

Во-первых, мои соболезнования вашей семье, надеюсь, она выздоровеет, и скоро.

Посмотрите на http://www.cogain.org/eyetrackers/low-cost-eye-trackers

там перечислены бесплатные предложения с открытым исходным кодом, в том числе от codeproject (C ++)

...