composer ошибка при передаче данных из GCS в S3 - PullRequest
Новая
       25

composer ошибка при передаче данных из GCS в S3

0 голосов
/ 12 июля 2020

Я пытаюсь передать файл размером 13 ГБ из облачного хранилища Google в корзину S3 с помощью GoogleCloudStorageToS3Operator в воздушном потоке, но получаю ошибку ниже. * Я пытался запустить несколько раз, но каждый раз получал одну и ту же ошибку. Однако я могу передать файл размером 700 МБ. Даже я разделил файл на 20 файлов меньшего размера, но через 7 минут я получаю ту же ошибку. Ниже мой код. 

GCS_TO_S3 = GoogleCloudStorageToS3Operator(
    task_id='GCS_TO_S3',
    bucket='******',
    prefix='******',
    delimiter='.csv',
    google_cloud_storage_conn_id='********',
    dest_aws_conn_id='*********',
    dest_s3_key='s3://********',
    replace=True,
    dag=dag,)

Пожалуйста, помогите, если есть какое-либо решение для этого.

1 Ответ

0 голосов
/ 12 июля 2020

В зависимости от ожидаемого времени выполнения этой задачи на основе тестовых прогонов вы можете увеличить timeout своей задачи. Вы можете сделать это, добавив аргумент в свой код выше.

Это существенно увеличивает количество времени, которое может занять задача без возврата работником каких-либо данных в Планировщик, прежде чем он решит, что задача не завершена.

...