Ошибка импорта облачного гаечного ключа на Apache Beam 2.9 - PullRequest
Новая
       24

Ошибка импорта облачного гаечного ключа на Apache Beam 2.9

0 голосов
/ 19 декабря 2018

Я пытаюсь обновить несколько сценариев pyache apache beam до последней версии 2.9 apache beam.Я сталкиваюсь со следующей ошибкой при запуске скрипта, который импортирует from google.cloud.spanner import Client в облаке Google Cloud Runner (прямой бегун работает нормально): https://gist.github.com/pascaldelange/f43cc1f6dc290291804b64b0db1cadfe

У меня есть правильный setup.py, который работал нормально до-2,9 с, в частности, 

REQUIRED_PACKAGES = [
    "Flask==0.12.2",
    "apache-beam[gcp]==2.9",
    "gunicorn==19.7.1",
    "gevent==1.2.1",
    "google-api-core==1.7.0",
    "google-apitools==0.5.24",
    "google-auth==1.6.2",
    "google-cloud-bigquery==1.6.1",
    "google-cloud-core==0.29.0",
    "google-cloud-pubsub==0.35.4",
    "google-cloud-spanner==1.7.1",
    "google-cloud-storage==1.13.1",
    "google-resumable-media==0.3.1",
    "googleapis-common-protos==1.5.5",
    "googledatastore==7.0.2",
    "grpc-google-iam-v1==0.11.4",
    "proto-google-cloud-datastore-v1==0.90.4",
    "six==1.11",
]

Возможно, связано: на другом задании (потоковое) у меня есть журналы ошибок 

No unique name set for transform generatedPtransform-45

и 

Missing required coder_id on grpc_port for -3; using deprecated fallback.

Хотя онине похоже, что фактически блокирует выполнение

Что может вызвать эту ошибку, в частности, только с помощью облачного бегуна потока данных Google?Заранее спасибо

1 Ответ

0 голосов
/ 21 февраля 2019

Эта ошибка: 

Missing required coder_id on grpc_port for -3; using deprecated fallback.

была введена в балке 2.9 и все еще существует в 2.10.

В то время как фиксация, которая добавила эту ошибку регистрируется с ошибкойСерьезность, кажется, что на самом деле ничего не сломалось.

Вот более подробная информация о луче-джира:

https://jira.apache.org/jira/browse/BEAM-5415

...