У меня есть 2 разных хранилища метаданных Hive (для сред dev и qa) поверх Google Storage.
В QA ежедневно обновляется таблица (пакетное задание), и мне нужно синхронизировать данные с DEV .
Какие параметры у меня есть?
- Spark не поддерживает несколько экземпляров Hive (возможно ли перенастроить SparkContext так, чтобы он указывал на другой экземпляр Hive во время выполнения?)
- не уверен, что у меня есть доступ к импорт / экспорт