У меня есть приложение Spark Streaming, которое считывает данные из Kafka и передает их в 2 разные базы данных. Я создал свой собственный тест «производительности», в котором я отправляю данные в Kafka и использую пользовательский интерфейс Spark, чтобы проверить, сколько времени потребовалось для обработки X-количества сообщений. как это можно автоматизировать? Мы используем CircleCI для других процессов, однако мы не используем CircleCI для запуска каких-либо тестов.
Я думаю, что мог бы каким-то образом использовать CircleCI, но я не нашел в Интернете никакой информации о том, как я мог бы сделать это для своего приложения Spark.