Можно ли запустить эмулятор android, получить файлы изображений его состояния и эмулировать с ним функцию мыши с безголового linux сервера? - PullRequest
Новая
       55

Можно ли запустить эмулятор android, получить файлы изображений его состояния и эмулировать с ним функцию мыши с безголового linux сервера?

0 голосов
/ 07 апреля 2020

Если то, что я прошу в «Вопросы» раздел не может быть сделано, то остальная часть этого поста является спорным. Посмотрите сначала на это, чтобы не тратить свое время на чтение предоставленного мною фона, если это окажется невозможным.

Вопросы

Мой сервер - AWS m4. большой бегущий безголовый убунту. Насколько я знаю, у него нет графического процессора, хотя в прошлом у меня был RDP, чтобы сделать что-то, что требовало GUI. Прежде всего, у меня есть несколько вопросов о том, возможны ли определенные вещи:

  • Кажется возможным запустить эмулятор android на безголовом сервере linux, но это возможно ли запустить приложение с графикой, несмотря на отсутствие графического процессора?

  • (если так) возможно ли получить файл изображения из того, что эмулятор сейчас показывает?

  • (если это так) возможно ли эмулировать функции мыши на основе координат X / Y, несмотря на то, что они выполняются без головы?

Работа выполнена до настоящего времени

В настоящее время я пытаюсь создать API для мобильной игры, в которой его нет. Пока у меня есть неуклюжий прототип, написанный на Python (работающий на моем Windows P C), который выполняет следующее (Когда код запускается, приложение открыто для прокручиваемого списка пользователей в "гильдия") :

  1. Получает снимок экрана с эмулятором android, на котором запущена игра
  2. Выполняет поиск изображения для определенных предопределенных "шаблонных" изображений (имена игроков в list)
  3. Нажатие на его местоположение, если шаблон виден (открывает страницу статистики игрока)
  4. Использование OCR для считывания информации на странице
  5. Возвращает в список и повторяет из Шаг 2
  6. Если шаблоны не найдены, программа прокручивается вниз и затем повторяется с шага 2
  7. Если собраны все данные от предопределенных пользователей, программа завершается

Проблемы с моим прототипом

  • Python код должен запускаться вручную, когда работает эмулятор (и на правой странице приложения)
  • P C can ' не может быть использовано во время выполнения кода, так как он использует разбор изображения функции скриншота и мыши
  • Это не практично в качестве «API»

Следующие шаги

Если то, что я упомянул в разделе «Вопросы», возможно, тогда остальным следует просто реализовать код из моего прототипа и повторять его по расписанию.

Если у кого-то есть идеи по выполнению той же задачи более простым способом, я абсолютно открыт для предложений.

Спасибо за чтение!

...