Сбой заданий потока данных Google Cloud с ошибкой «Не удалось получить промежуточные файлы: не удалось получить работника в 3 попытках: плохой MD5 ...» - PullRequest
Новая
       24

Сбой заданий потока данных Google Cloud с ошибкой «Не удалось получить промежуточные файлы: не удалось получить работника в 3 попытках: плохой MD5 ...»

0 голосов
/ 18 декабря 2018

SDK: Apache Beam SDK для Go 0.5.0

Мы выполняем задания Apache Beam Go SDK в облачном потоке данных Google.Они работали нормально до недавнего времени, когда они периодически перестали работать (без изменений в коде или конфигурации).Возникающая ошибка:

Failed to retrieve staged files: failed to retrieve worker in 3 attempts: bad MD5 for /var/opt/google/staged/worker: ..., want ; bad MD5 for /var/opt/google/staged/worker: ..., want ;

(Примечание. Похоже, что в сообщении об ошибке отсутствует второе значение хэша.)

Как лучше всегоможет догадаться, что с работником что-то не так - похоже, он пытается сравнить md5-хэши работника и пропустить одно из значений?Я не знаю точно, с чем это сравнивается.

Кто-нибудь знает, что может быть причиной этой проблемы?

Ответы [ 2 ]

0 голосов
/ 10 января 2019

Я вижу то же самое.Если я загляну в журнал Stackdriver, то увижу это: 

Handler for GET /v1.27/images/apache-docker-beam-snapshots-docker.bintray.io/beam/go:20180515/json returned error: No such image: apache-docker-beam-snapshots-docker.bintray.io/beam/go:20180515

Однако я могу вытащить изображение просто локально.Любые идеи, почему Dataflow не может тянуть.

0 голосов
/ 19 декабря 2018

Решение этой проблемы, похоже, заключалось в том, чтобы перестроить worker_harness_container_image с последними изменениями.Я попробовал это, но у меня не было последней версии, когда я создавал ее локально.После того, как я вытащил последнюю версию репозитория Beam и восстановил изображение (согласно примечаниям https://github.com/apache/beam/blob/master/sdks/CONTAINERS.md) и перезапустил его, оно снова заработало.

...