В приложении существует множество событий и параметров Mixpanel для каждого пользовательского сценария ios. На регрессионное тестирование уходит много времени на ручное тестирование: они должны запускать весь сценарий ios вручную. Я пытаюсь решить эту головоломку и сохранить усилия / повысить точность тестирования.
Я хотел бы проверить следующее:
- события запускаются в правильное место / время с правильными параметрами прицеливания.
- информация корректно отражается в базе данных Mixpanel без мусора (строго требуется нашей экспериментальной командой разработчиков).
Что мы пробовали far:
- Перехват данных через прокси. (минусы: события группируются и отправляются группами, сложно сопоставить их с выполненными тестами).
- Настройка идентичного сервера аналитических тестов, куда мы отправляем дубликаты вызовов. Извлечение необработанных данных из БД и использование алгоритмов поиска (по крайней мере, некоторые результаты там, но у нас нет информации о том, как Mixpanel преобразует данные перед сохранением их в собственной БД. Таким образом, это оказалось слишком сложным и все еще не дает согласованных результатов).
Почему бы нам не сделать это вручную? Итак, мы покрыли 81% комплекта полных регрессионных тестов тестами на основе Appium, и ручное тестирование должно повторять сценарий ios только для аналитического тестирования. Должен быть какой-то способ интегрировать аналитическое тестирование в наш автоматизированный пакет.
Есть какие-нибудь идеи, подходящие к этому по-другому?