Для тестирования конвейера данных нет доступных средств / средств тестирования автоматизации.
Однако вы можете создать собственную платформу искры для проверки данных в различных зонах данных (L0, L1, L2 и c). ..)
Spark может считывать различные типы данных (csv, xml, json, текст, паркет и т. Д. c ..) в фрейм данных.
И вы можете получить лог c для сравнения двух фреймов данных.