Linux, как захватывать экран и моделировать движения мыши - PullRequest
Новая
       11

Linux, как захватывать экран и моделировать движения мыши

10 голосов
/ 09 апреля 2010

Мне нужно захватить экран (как экран печати) таким образом, чтобы я мог получить доступ к данным цвета пикселя, чтобы сделать некоторое распознавание изображения, после этого мне нужно будет генерировать события мыши на экране, такие как левый щелчок, перетаскивание (двигая мышь, пока кнопка нажата, а затем отпустите ее). Как только это будет сделано, изображение будет удалено.

Примечание: мне нужно захватить весь экран всем, что видит пользователь, и мне нужно смоделировать щелчки за пределами окна моей программы (если это имеет какое-либо значение)

Спецификация: Linux Ubuntu Язык: C ++

Производительность не очень важна, функция «печать экрана» будет выполняться один раз каждые ~ 10 сек. Продолжительность процесса может составлять до 24 часов, поэтому метод должен быть стабильным и утечки памяти свободны (как обычно:)

Я мог делать в Windows с Win GDI и некоторыми событиями Windows, но я не знаю, как это сделать в Linux.

Большое спасибо

Ответы [ 3 ]

15 голосов
/ 09 января 2012 
//sg

//Solution using Xlib for those who use Linux
#include <X11/Xlib.h>
#include<stdio.h>
#include<unistd.h>
#include <stdlib.h>
#include <string.h>

#include <unistd.h>

#include <X11/Xlib.h>
#include <X11/Xutil.h>

void mouseClick(int button)
{
    Display *display = XOpenDisplay(NULL);

    XEvent event;

    if(display == NULL)
    {
        fprintf(stderr, "Cannot initialize the display\n");
        exit(EXIT_FAILURE);
    }

    memset(&event, 0x00, sizeof(event));

    event.type = ButtonPress;
    event.xbutton.button = button;
    event.xbutton.same_screen = True;

    XQueryPointer(display, RootWindow(display, DefaultScreen(display)), &event.xbutton.root, &event.xbutton.window, &event.xbutton.x_root, &event.xbutton.y_root, &event.xbutton.x, &event.xbutton.y, &event.xbutton.state);

    event.xbutton.subwindow = event.xbutton.window;

    while(event.xbutton.subwindow)
    {
        event.xbutton.window = event.xbutton.subwindow;

        XQueryPointer(display, event.xbutton.window, &event.xbutton.root, &event.xbutton.subwindow, &event.xbutton.x_root, &event.xbutton.y_root, &event.xbutton.x, &event.xbutton.y, &event.xbutton.state);
    }

    if(XSendEvent(display, PointerWindow, True, 0xfff, &event) == 0) fprintf(stderr, "Error\n");

    XFlush(display);

    usleep(100000);

    event.type = ButtonRelease;
    event.xbutton.state = 0x100;

    if(XSendEvent(display, PointerWindow, True, 0xfff, &event) == 0) fprintf(stderr, "Error\n");

    XFlush(display);

    XCloseDisplay(display);
}
int main(int argc,char * argv[]) {

    int x , y;
    x=atoi(argv[1]);
    y=atoi(argv[2]);
    Display *display = XOpenDisplay(0);

    Window root = DefaultRootWindow(display);
    XWarpPointer(display, None, root, 0, 0, 0, 0, x, y);
    mouseClick(Button1);
    XFlush(display);
    XCloseDisplay(display);
    return 0;
}

Создайте его, а затем смоделируйте щелчок по x, y do: 

$ ./a.out x y

т.е.

$ g ++ -lX11 sgmousesim2.cpp

$ ./a.out 123 13

На всякий случай, если вы все еще заинтересованы.

1 голос
/ 09 апреля 2010

Swinput - это решение для симуляции событий мыши / клавиши. Вам нужно скомпилировать его, вероятно, для вашего ядра. Xorg предоставил несколько заголовков для записи событий мыши / клавиши, но я думаю, что в данный момент они не работают. Существует C код evtest , который можно использовать для захвата событий из файлов /dev/input/eventX, /dev/input/mice. Это может быть полезно.

Edit:

Исправлена ​​ошибка в расширении записи Xorg, поэтому она также может работать.

0 голосов
/ 05 декабря 2018

Чтобы он работал правильно, вы должны вызвать XFlush после деформации указателя

Проверено на linux Mint19 (Cinamon 3.8) XWarpPointer (display, None, root, 0, 0, 0, 0, x, y); XFlush (дисплей);

...