Мне нужно импортировать графические рамки в мой JupyterHub. Я добавил конфиг в свою свечу ("spark.jars.packages", "graphframes:graphframes:0.8.0-spark2.4-s_2.11")
, но она, похоже, не работает!
В интерфейсе Spark он собирает конфиг, но я не думаю, что происходит что-то еще. Нужно ли делать что-то еще, чтобы пакет spark загружался и загружался для каждого драйвера и исполнителя в моем кластере. Я думал, что вышеупомянутый конфиг был способ сделать это
Я могу получить пакет и запустить в оболочке pyspark, хотя с --packages