Как взаимодействовать с GUI окна с Python?

Question

Допустим, вы хотите открыть myapp.exe, открыть 3-е меню, затем выбрать 2-й пункт меню (то есть, как пользователь будет делать с клавиатурой или мышью), а затем в диалоговом окне выбрать 2-ю кнопку.

pyahk и pyautogui, кажется, предлагают это, но довольно «низкоуровневым» способом, имитируя клики:

pyautogui.click(x=moveToX, y=moveToY, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

Как взаимодействовать с графическим интерфейсом Windows на более высоком уровне с Python?

Пример:

window = gui.open('myapp.exe')
window.menu_open(3).choose_item(2)
child_window = window.wait_for_dialog()
child_window.buttons[1].click()

Answer 1

pywinauto кажется гораздо более подходящим для того, что вы хотите - он использует Win32 API и MS UI Automation, среди прочего.

Вот пример автоматизацииприложение блокнота:

from pywinauto.application import Application
app = Application().start("notepad.exe")

app.UntitledNotepad.menu_select("Help->About Notepad")
app.AboutNotepad.OK.click()
app.UntitledNotepad.Edit.type_keys("pywinauto Works!", with_spaces = True)