Как установить библиотеку python на ноутбук AWS EMR? - PullRequest
0 голосов
/ 17 марта 2020

Я хочу установить дополнительные библиотеки на ноутбуке AWS (подключенном к кластеру EMR), однако я не вижу возможности подключиться с ноутбука на inte rnet. Если я делаю «pip install», то всегда возвращаюсь, говоря, что сеть недоступна. Я не уверен, какую сеть необходимо изменить для подключения к сети и установки библиотеки.

Я вошел в терминал Jupyter и отправил ping на google.com, время ожидания которого истекло. Я не вижу никакой конфигурации сети / группы безопасности et c ... в разделе Notebook для внесения каких-либо соответствующих изменений.

Может быть, мне нужно предпринять некоторые дополнительные шаги?

1 Ответ

0 голосов
/ 03 мая 2020

Если вы используете ядро ​​PySpark, вы можете установить библиотеки, используя

sc.install_pypi_package("celery")

или запустив

sudo pip-3.6 install boto3

следующий документ содержит более подробную информацию

Если вы используете ядро ​​python 3, то будут установлены только пакеты , и нет прямого способа установить дополнительные библиотеки, кроме как загрузить пакет python в ноутбук, а затем использовать терминал jupyterlab для запуска

pip install package.tar.gz

...