Не удается импортировать спаркдл в блокнот Jupyter

Question

Я пытаюсь использовать искробезопасную библиотеку (https://github.com/databricks/spark-deep-learning) в блокноте Юпитера.

Когда я пытаюсь "импортировать sparkdl" в блокнот jupyter, я получаю сообщение об ошибке "модуль не найден".

Когда я запускаю указанную ниже команду в cli

pyspark --packages databricks:spark-deep-learning:1.5.0-spark2.4-s_2.11

У меня есть возможность импортировать sparkdl в оболочку искры и она работает.

Как я могу использовать эту библиотеку в блокноте jupyter?

Answer 1

Вы можете проверить несколько точек:

1. используйте %conda list|grep "sparkdl" в ячейке ноутбука Jupyter, чтобы проверить, установлен ли sparkdl , как вы хотите.
2. виртуальная среда. sparkdl установлен в другую виртуальную среду?

надеюсь, это поможет вам.