Автоматизация тестирования событий Mixpanel - какие удачные примеры? - PullRequest
0 голосов
/ 09 января 2020

В приложении существует множество событий и параметров Mixpanel для каждого пользовательского сценария ios. На регрессионное тестирование уходит много времени на ручное тестирование: они должны запускать весь сценарий ios вручную. Я пытаюсь решить эту головоломку и сохранить усилия / повысить точность тестирования.

Я хотел бы проверить следующее:

  1. события запускаются в правильное место / время с правильными параметрами прицеливания.
  2. информация корректно отражается в базе данных Mixpanel без мусора (строго требуется нашей экспериментальной командой разработчиков).

Что мы пробовали far:

  1. Перехват данных через прокси. (минусы: события группируются и отправляются группами, сложно сопоставить их с выполненными тестами).
  2. Настройка идентичного сервера аналитических тестов, куда мы отправляем дубликаты вызовов. Извлечение необработанных данных из БД и использование алгоритмов поиска (по крайней мере, некоторые результаты там, но у нас нет информации о том, как Mixpanel преобразует данные перед сохранением их в собственной БД. Таким образом, это оказалось слишком сложным и все еще не дает согласованных результатов).

Почему бы нам не сделать это вручную? Итак, мы покрыли 81% комплекта полных регрессионных тестов тестами на основе Appium, и ручное тестирование должно повторять сценарий ios только для аналитического тестирования. Должен быть какой-то способ интегрировать аналитическое тестирование в наш автоматизированный пакет.

Есть какие-нибудь идеи, подходящие к этому по-другому?

...