К сожалению, нет реального способа гарантировать совместимость с такими настройками, и есть известные несовместимости с выпущенными в настоящее время версиями спарк, способными общаться с Hive 3.x , так что выскорее всего, возникнут проблемы, если вам не удалось кросс-компилировать все нужные вам версии.
В любом случае, самый простой способ это сделать, если вы пытаетесь получить только ограниченные наборы функцийработа - это просто сброс ваших пользовательских jar-файлов в:
/usr/lib/hive/lib/
на всех ваших узлах с помощью действия init.После этого вам может потребоваться перезагрузить ваш главный узел, чтобы обновить Has metastore и Hiveserver2, или, по крайней мере, запустить:
sudo systemctl restart hive-metastore
sudo systemctl restart hive-server2
на вашем главном узле.
При возникновении проблем с Spark вам может понадобитьсяпользовательская сборка Spark, а также заменить jarfiles в:
/usr/lib/spark/jars/