Запустите pip install py4j в преобразовании pythonEvaluator в GCP Data Fusion. - PullRequest
1 голос
/ 04 февраля 2020

Я пытаюсь запустить "pip install py4j" в основном режиме Python Evaluator. Я не могу найти место, где я могу запустить эту команду для установки зависимости. Невозможно найти решение нигде в Интернете. Пожалуйста, помогите мне выполнить эту команду в объединении данных.

Заранее спасибо!

1 Ответ

0 голосов
/ 05 февраля 2020

Для этого нет простого подхода, потому что вы не можете изменить кластер Datapro c, используемый при выполнении в конвейере. Итак, если вам действительно нужно использовать плагин Python в собственном режиме, я предлагаю создать кластер с библиотекой py4j, а затем подключить его к Data Fusion с помощью поставщика "Remote Had oop. ".

Учтите, что для использования этого провайдера вам потребуется создать новый профиль вычислений, который доступен только в Data Fusion Enterprise версии.

Чтобы установить библиотеку py4j в своем кластере, вы можете создать пользовательский образ с библиотекой , предоставить скрипт действий инициализации для его установки или S SH на машинах и вручную выполните команду pip install.

...