Установите hadoopy в Google Composer - PullRequest
Новая
       27

Установите hadoopy в Google Composer

0 голосов
/ 24 сентября 2018

Я использую google composer.

Как мы можем установить hadoopy в google composer environment.

Эта страница содержит шаги для установки hadoopy на Linux-машине

Github Clone 

git clone https://github.com/bwhite/hadoopy.git
cd hadoopy
sudo python setup.py install

PIP-установка

sudo pip install -e git+https://github.com/bwhite/hadoopy#egg=hadoopy

Я не понимаю, как установить это в среде Google Composer

1 Ответ

0 голосов
/ 29 сентября 2018

Пакет, кажется, доступен на Индекс пакета Python .Таким образом, вы можете установить его через веб-интерфейс (среда вашего композитора> вкладка «Пакеты Pypi»> «Правка»> «Добавить <your_dependency>==<version>»).Вы также можете сделать это через командную строку: 

gcloud composer environments update ENVIRONMENT-NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location LOCATION

requirements.txt должно содержать что-то вроде: 

hadoopy==0.6.0

Обратите внимание, что установка зависимости может быть довольно продолжительной (Composer долженперестройте образы Docker с помощью включенного пакета).

Если вы хотите добавить зависимость напрямую из источников на Github, вам нужно будет выполнить шаги, описанные в документации: Установка локальной библиотеки Python .

...