установка python пакета в sagemaker sparkmagi c pyspark ноутбук

Question

Я хочу установить новые библиотеки в работающем ядре (не при начальной загрузке). Я могу создать ноутбук Sagemaker, который подключен к кластеру EMR, но установка пакета - головная боль. Невозможно установить пакеты на ноутбуке. Я пробовал несколько способов, таких как установка пакетов через терминал в jupyterLab.

$ conda install numba

Установка на ноутбуке conda_pytorch_p36, кажется, работает нормально, но пакеты не установлены на ноутбуке SparkMagi c (pyspark).

Код ошибки:

An error was encountered:
No module named numba
Traceback (most recent call last):
ImportError: No module named numba

Команда jupyter magi c также не работает только в блокноте pyspark

!pip install keras

Ошибка:

An error was encountered:
invalid syntax (<stdin>, line 1)
  File "<stdin>", line 1
    !pip install keras
    ^
SyntaxError: invalid syntax

На основе ответа в github post, тоже не сработало

from subprocess import call
call("pip install dm-sonnet".split(" "))

Answer 1

когда вы запускаете $ conda install numba через терминал в JupyterLab, он фактически завершает установку в вашей локальной среде. Дело в том, что когда вы используете Sparkmagi c в качестве ядра, код в ячейках всегда работает на кластере искр, а не в локальной среде ноутбука. Для локального запуска содержимого ячейки вы должны написать %%local в начале ячейки. После этого все в этой ячейке будет работать локально, и установленный модуль будет доступен. В противном случае вам следует установить модуль на удаленный искровой кластер. Подробнее здесь: https://github.com/jupyter-incubator/sparkmagic/blob/master/examples/Pyspark%20Kernel.ipynb