Как упаковать JAR-файлы в Spark (Scala) вне проекта?

Question

Я пытался настроить ноутбук Spark (Scala) и Jupyter.Настройка проста , за исключением случаев, когда вы хотите добавить такие вещи, как драйверы базы данных, в частности, красное смещение в моем случае, которое представляет собой сложную сеть взаимозависимостей JAR, которую я потратил целый день, пытаясь исправить ситуацию.

Я также установил spark localy (Ubuntu 18.04), и у меня возникла та же проблема: я нашел папку /jar и выяснил, какие версии драйверов, библиотек и т. Д. Мне нужны для работы с теми, которые поставляются с ней.

Все это для зажигания в ноутбуке Jupyter с подключением к красному смещению: @

Answer 1

Если вы собираетесь использовать Scala для Spark, лучше настроить / использовать среду ноутбука Zeppelin вместо Jupyter.И когда у вас работает Zeppelin, создайте новый блокнот и в пустой ячейке вы можете использовать команду% sh magic для запуска команд в стиле Unix (например, sudo apt-get), чтобы установить любые дополнительные библиотеки, которые вам понадобятся.