Рассмотрим следующий сценарий со следующими шагами:
- Загрузить файл CSV в HDFS
- Прочитать этот файл, используя Spark
- Преобразовать его
- Сохраните его в Hive
- Запросите его с помощью SparkSQL
Каков наилучший подход в Scala?Какие библиотеки могут помочь с этим интеграционным тестированием?