Emr шаг с помощью boto3 - PullRequest
       15

Emr шаг с помощью boto3

0 голосов
/ 22 января 2019

Здравствуйте, я пытаюсь запустить приложение pyspark на EMR. У меня есть пара зависимостей от использования библиотек, таких как клиент boto3 (s3) и psycopg2. Когда я создал кластер EMR, я использовал скрипт начальной загрузки для установки библиотек.

#!/bin/bash

sudo easy_install-3.4 pip
sudo /usr/local/bin/pip3 install psycopg2==2.7.6.1 psycopg2-binary==2.7.6.1 boto3==1.9.82  

Кластер успешно создан, однако при выполнении шага возникает ошибка со следующей ошибкой: ModuleNotFoundError: Нет модуля с именем 'boto3' . Что я здесь не так делаю?

...