невозможно загружать большие файлы с помощью aws-fargate ecs

Question

Я пытался следовать инструкциям, указанным на этой странице ...

https://towardsdatascience.com/serverless-distributed-data-pre-processing-using-dask-amazon-ecs-and-python-part-1-a6108c728cc4

И получил 2 ошибки. Один связан с ролью IAM, а другой - с dask.

1) Я проверил, что политика sagemaker включает полный доступ, и все еще получаю это исключение:

An error occurred (AccessDeniedException) when calling the UpdateService operation: User: arn:aws:sts::513469704633:assumed-role/AmazonSageMaker-ExecutionRole-20180101T192504/SageMaker is not authorized to perform: ecs:UpdateService on resource: *

2) Я не понимаю, что означает отмененная ошибка:

CancelledError: ('head-1-5-from-delayed-12929833853fcc20e3534186ebfd77f0', 0)

Прикрепленный скриншот с ноутбука Python.

Answer 1

Мое первое предположение состоит в том, что работники dask, которые вы начали с fargate, не имеют достаточных прав для чтения ваших данных. Вы можете прочитать следующие документы:

http://docs.dask.org/en/latest/remote-data-services.html#amazon-s3