Я использую Spark 2.3, и меня смущает интеграция Spark SQL и Hive.
Spark SQL поддерживает множество версий Hive (0.12.0 ~ 2.3.3) для чтения или записи данных в Hive изэти версии.
Но в Spark SQL встроен Hive 1.2.1,
- Для чего Spark SQL использует этот встроенный Hive (1.2.1)?
- Скажем, Spark SQL взаимодействует с кустом версии 0.12.0. Разве встроенный Hive не имеет проблемы совместимости со старой версией Hive?Я знаю, что Spark SQL использует изоляцию загрузчика классов, но похоже, что одной изоляции недостаточно, чтобы избежать проблемы совместимости.