Начиная с Appium 1.8.2 существует стратегия FindsByImage . Он имеет ограниченные возможности взаимодействия с элементами (по сравнению с элементами, основанными на атрибутах):
- click
- isDisplayed
- getSize
- getLocation
- getLocationInView
- getElementRect
- getAttribute (только визуальный атрибут)
По крайней мере, вы можете проверить, является ли элемент видимым, прочитать его границы и быть в состоянии нажать.
Под этим подходом работает библиотека OpenCV, поэтому вы должны настроить свой Appium, установив дополнительные пакеты npm. Кроме того, вы должны принять во внимание, что распознавание изображений является недетерминированным c процессом и требует некоторой настройки (например, настройки порогов) для обеспечения стабильности ваших тестов.
Надеюсь, это поможет.