Нашел ответ в документации по IBM Cloud.
https://dataplatform.cloud.ibm.com/docs/content/wsj/analyze-data/importing-libraries.html
Установка пользовательских библиотек и пакетов в Apache Spark
Последнее обновление: 1 марта 2019 г.
2
Когда вы связываете Apache Spark с ноутбуком в Watson Studio, включается много предустановленных библиотек. Перед установкой библиотеки проверьте список предустановленных библиотек. Запустите соответствующую команду из ячейки ноутбука:
Python: !pip list --isolated
R: installed.packages()
Если нужной библиотеки нет в списке или вы хотите использовать библиотеку Scala в записной книжке, выполните шаги, описанные в следующих разделах, чтобы установить ее. Формат пакетов библиотеки зависит от языка программирования.
Чтобы использовать библиотеку Scala
Библиотеки для ноутбуков Scala обычно упакованы в файлы архива Java ™ (JAR).
Для временного кэширования библиотеки
Библиотеки для ноутбука Scala не установлены в службу Spark. Вместо этого они кэшируются при загрузке и доступны только на время работы ноутбука.
To use a single library without dependencies, from a public web server:
Locate the publicly available URL to the library that you want to install. If you create a custom library, you can post it to any publicly available repository, such as GitHub.
Download the library you want to use in your notebook by running the following command in a code cell:
%AddJar URL_to_jar_file
To use a library with dependencies, from a public Maven repository:
Add and import a library with all its dependencies by running the following command. You need the groupId, artifactId, and version of the dependency. For example:
%AddDeps org.apache.spark spark-streaming-kafka_2.10 1.1.0 --transitive
Для постоянной установки библиотеки
Вы можете установить постоянную библиотеку в ~ / data / libs /, если вы хотите сделать файлы доступными для заданий на отправку и ядра Scala или хотите получить доступ к файлам через мосты Java из других ядер, например, для используйте драйверы JDBC от Python или R.
Путь к файлу установленной библиотеки к ~ / data / libs / зависит от версии Scala, которая требуется для библиотеки:
Use ~/data/libs/ for libraries that work with any Scala version.
Use ~/data/libs/scala-2.11/ for libraries that require Scala 2.11. The Scala kernel for Spark 2.1 uses Scala 2.11.
Чтобы установить библиотеку:
Locate the publicly available URL to the library that you want to install.
Download the library you want to install permanently into ~/data/libs/ by running the following command in a Python notebook:
!(cd ~/data/libs/ ; wget URL_to_jar_file)
Для установки библиотеки Python
Use the Python pip package installer command to install Python libraries to your notebook. For example, run the following command in a code cell to install the prettyplotlib library:
!pip install --user prettyplotlib
The --user flag installs the library for personal usage rather than the global default. The installed packages can be used by all notebooks that use the same Python version in the Spark service.
Use the Python import command to import the library components. For example, run the following command in a code cell:
import prettyplotlib as ppl
Restart the kernel.
Для загрузки пакета R
Use the R install.packages() function to install new R packages. For example, run the following command in a code cell to install the ggplot2 package for plotting functions:
install.packages("ggplot2")
The imported package can be used by all R notebooks running in the Spark service.
Use the R library() function to load the installed package. For example, run the following command in a code cell:
library("ggplot2")
You can now call plotting functions from the ggplot2 package in your notebook.