Imagesearch + pyauto gui автоматизация Python 3.8

Question

Я пытаюсь использовать обе библиотеки Pyauto gui и Imagesearch для автоматизации задачи в игре. Задача требует, чтобы вы нажали пробел при появлении "Strike!" Текст появляется над вашим персонажем. Мне это удалось. Код, который у меня сейчас есть:

import pyautogui

while True:
    pos = imagesearch_loop("./strike.png", 0.5)
    if pos[0] != -1:
        print("position : ", pos[0], pos[1])
        pyautogui.press('space')

    else:
        print("image not found")

Но после удара вы должны управлять другой полосой, чтобы поймать fi sh. Эта полоса

Вы должны позволить маленькой зеленой рамке вокруг fi sh окружать fi sh как он перемещается слева направо. Я могу представить, как сравниваю обе позиции x, y, а затем нажимаю соответствующую клавишу, но я не уверен, как лучше всего это сделать.

После того, как я поймаю фи sh, мне также придется использовать мышь, чтобы использовать приманку в определенном c месте, как я могу добавить нажатие этой кнопки, чтобы получить положение мыши, а затем переместить мышь туда и нажмите.

Заранее спасибо

Answer 1

есть хорошая pynput библиотека для управления мышью / клавиатурой, также отслеживая их действия, работать с ней просто, а в документации уже есть все необходимое.

и mss , на мой взгляд, самый быстрый для захвата изображений экрана и их перевода в массив numpy, вы также можете использовать библиотеку opencv для анализа изображение, например, определение цвета или определение другого цвета , выражение контуров и после центра нужной области