Задание потока данных не запускается после запуска работника? - PullRequest
Новая
       45

Задание потока данных не запускается после запуска работника?

0 голосов
/ 14 февраля 2019

Иногда задания потока данных GCP не запускаются после отправки даже после успешного запуска рабочих.

1 Ответ

0 голосов
/ 14 февраля 2019

Ниже приведены возможные причины не запуска задания потока данных:

1) Недостаточно прав для service account или IAM user

  • Добавить dataflow admin разрешение на учетную запись службы.

  • Для пользователя IAM добавьте доступ широкого уровня, например EDITOR или OWNER, а затем выполните команду

    • gcloud config set project <your_project_id>
    • gcloud auth login
    • gcloud auth login application-default

2) Иногда это может вызывать зависимость от пакета.Чтобы решить эту проблему, выполните следующие действия: Сгенерируйте setup.py из своего локального requirements.txt

- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.
...