Вход камеры как мышь (отслеживание движения)

Question

Я разрабатывал проект, который использует веб-камеру в качестве источника ввода для имитации события мыши на Mac. Я всегда работаю с opencv для обработки изображений и Qt Framework для GUI Framework.

Моя проблема в том, что я хочу написать программу, которая имитирует мышь. Я не знаю, как управлять мышью из окна и отправлять прерывания в операционную систему. Есть ли простой код? или кто-нибудь может дать мне подсказку?

Answer 1

Один из вариантов - использовать расширение XTEST X11 и другие функции Xlib.

Чтобы включить это на Mac, прочитайте ответ на этот вопрос: Есть ли у Mac X11 расширение XTEST?

defaults write org.x.X11 enable_test_extensions -boolean true

Вот инструмент, уже созданный с использованием этой технологии, под названием xdotool .

ОБНОВЛЕНИЕ : другим вариантом может быть использование встроенного инструмента Automator.

Answer 2

Для современных операционных систем мышь является основным устройством ввода. Как таковой он обрабатывается драйвером в ОС. Там мышь привязана вплотную к указателю. Для таких программистов, как вы, важно правильно различать мышь и указатель. Похоже, вы действительно хотите управлять указателем, а не мышью.