Ошибка ImportEr: ни один модуль с именем tennsflow_transform.beam - PullRequest
Новая
       14

Ошибка ImportEr: ни один модуль с именем tennsflow_transform.beam

2 голосов
/ 18 марта 2019

При отправке задания потока данных в GCP я получаю эту ошибку: 

Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 766, in run
    self._load_main_session(self.local_staging_directory)
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 482, in _load_main_session
    pickler.load_session(session_file)
  File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 266, in load_session
    return dill.load_session(file_path)
  File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 402, in load_session
    module = unpickler.load()
  File "/usr/lib/python2.7/pickle.py", line 864, in load
    dispatch[key](self)
  File "/usr/lib/python2.7/pickle.py", line 1139, in load_reduce
    value = func(*args)
  File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 818, in _import_module
    return __import__(import_name)
ImportError: No module named tensorflow_transform

Мое предположение состоит в том, что такие требования, как тензор потока-преобразования и апача-луча, предварительно установлены, и он работал несколько месяцев назад.

1 Ответ

2 голосов
/ 19 марта 2019

Вот решение, выложенное здесь для людей, которые сталкиваются с той же проблемой.

Вам необходимо иметь файл setup.py в том же каталоге, что и файл, который вы запускаете, при условии, что файл имеет все шаги луча. 

import setuptools

setuptools.setup(
              name='whatever-name',
              version='0.0.1',
              install_requires=[
                  'apache-beam==2.10.0',
                  'tensorflow-transform==0.12.0'
                  ],
              packages=setuptools.find_packages(),
              )

В файле Python у меня было 

options = PipelineOptions()

, который должен был быть изменен на: 

options = PipelineOptions(setup_file="./setup.py")
...