Dataflow SDK 2.7.0 при подключении настройки 2.10.0 - PullRequest
Новая
       11

Dataflow SDK 2.7.0 при подключении настройки 2.10.0

1 голос
/ 18 марта 2019

Я пытаюсь запустить задание потока данных, у меня есть следующий файл setup.py: 

import setuptools

setuptools.setup(
              name='Some-Name',
              version='0.0.1',
              install_requires=[
                  'apache-beam==2.10.0',
                  'tensorflow-transform==0.12.0'
                  ],
              packages=setuptools.find_packages(),
              )

, но когда я отправляю задание в GCP, SDK отображается как 2.7.0 и задание выиграно 'Т беги.Он остановится через 1 час со следующей ошибкой:

Рабочий процесс не выполнен.Причины: Задание потока данных, похоже, застряло, потому что за последние 1 ч не было замечено ни одного рабочего действия.

1 Ответ

1 голос
/ 19 марта 2019

Я исправил эту проблему, обновив tensorflow-transform и apache-beam в моей локальной виртуальной среде, откуда я отправлял задание потока данных.Как только я обновил свой локальный apache-beam и tensorflow-transform и tensorflow, похоже, он работает.Я не уверен, почему, поскольку в setup.py указаны версии пакетов.

...