Тестовая автоматизация конвейера данных - PullRequest
1 голос
/ 09 января 2020

Меня попросили автоматизировать тестирование нижеуказанного конвейера данных. Может кто-нибудь предложить / направить меня, как я могу достичь сквозного тестирования автоматизации этого конвейера.

Я ищу рамки, инструменты, которые я могу использовать для всей автоматизации тестирования.

Oracle DW -> Apache Nifi -> AWS S3 (зона посадки) -> [Использование AWS Лямбда-шаговая функция и наблюдение за облаком] -> Для сохранения данных в AWS Redshift -> Power BI

1 Ответ

1 голос
/ 10 января 2020

Я поддерживаю Python клиент для Apache NiFi, чтобы автоматизировать развертывание и тестирование с ним, так что это должно помочь вам на начальных этапах вашего конвейера https://github.com/Chaffelson/nipyapi

...