Путаница с интеграцией Spark SQL и нескольких версий Hive - PullRequest
0 голосов
/ 24 сентября 2018

Я использую Spark 2.3, и меня смущает интеграция Spark SQL и Hive.

Spark SQL поддерживает множество версий Hive (0.12.0 ~ 2.3.3) для чтения или записи данных в Hive изэти версии.

Но в Spark SQL встроен Hive 1.2.1,

  1. Для чего Spark SQL использует этот встроенный Hive (1.2.1)?
  2. Скажем, Spark SQL взаимодействует с кустом версии 0.12.0. Разве встроенный Hive не имеет проблемы совместимости со старой версией Hive?Я знаю, что Spark SQL использует изоляцию загрузчика классов, но похоже, что одной изоляции недостаточно, чтобы избежать проблемы совместимости.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...