Вновь созданное ядро недоступно в Jupyter Notebook, работающем в кластере AWS EMR
Я использую JupyterHub в кластере AWS EMR.Версия Python по умолчанию в кластере - Python 2, который не поддерживается с января 2020 года. Я хочу использовать Python3 на своем ноутбуке Jupyter - однако мне также нужно использовать PySpark на Python3, который по умолчанию не существует.
Учитывая, что JupyterHub создает образ Docker для этих ноутбуков, я попытался установить этот модуль через Docker.
Во-первых, для ядер по умолчанию не созданы среды conda по умолчанию.
Итак, мой первый шаг - создать среду conda.
Я сделал следующее:
conda create -n python3-env python=3.6.6
source activate python3-env
conda install jupyter
Затем я установил PySpark в этой среде:
conda install -n python3-env pyspark
После этого мне пришлось создать ядро для этой среды:
conda install ipykernel
python3 -m ipykernel install --name python3-env --display-name "Python3 env"
conda env list
base / opt / conda
python3-env * / opt / conda / envs / python3-env
список спецификаций ядра jupyter
python3 / opt / conda / envs / python3-env / share / jupyter / kernels / python3
pyspark3kernel / usr / local / share / jupyter / kernels / pyspark3kernel
pysparkkernel / usr/ local / share / jupyter / kernels / pysparkkernel
python3-env / usr / local / share / jupyter / kernels / python3-env
sparkkernel / usr / local / share / jupyter / kernels/ sparkkernel
В идеале все шаги выполняются, а расположение ядра, python3-env, совпадает со значением по умолчаниюЯдра, я ожидаю, что ядро попадет под мой список ядер в моем ноутбуке, когда активирован python3-env.
Однако, это ядро не отображается в списке доступных ядер.