Ошибка конвейера DataflowRunner - невозможно переименовать - PullRequest
0 голосов
/ 22 февраля 2020

Мое задание DataFlow читает один CSV-файл из корзины GS, запрашивает у другой службы дополнительные данные, записывает их в новый CSV-файл и сохраняет обратно в корзину, но кажется, что оно падает до того, как оно захватывает входной CSV-файл в начале. ..

Это ошибка, которую я получаю: DataflowRuntimeException - Сбой конвейера потока данных. Состояние: СБОЙ, Ошибка: Unable to rename "gs://../../job.1582402027.233469/dax-tmp-2020-02-22_12_07_49-5033316469851820576-S04-0-1719661b275ca435/tmp-1719661b275ca2ea-shard--try-273280d77b2c5b79-endshard.avro" to "gs://../../temp/job.1582402027.233469/tmp-1719661b275ca2ea-00000-of-00001.avro".

Есть идеи, что является причиной этой ошибки?

Вот экран печати

1 Ответ

0 голосов
/ 25 февраля 2020

Обычно эта ошибка связана с тем, что учетная запись службы, которую вы используете в заданиях DataFlow, не имеет необходимых разрешений GCS (Google Cloud Storage).

Вы должны добавить роль типа " role / storage.objectAdmin " для учетной записи службы, чтобы разрешить взаимодействие с GCS.

...