Amazon s3Exception неправильный запрос и ограничение местоположения в hadoop s3a

Question

Требует ли ограничение местоположения политики дополнительных разрешений для hadoop s3a?

Я вижу

Exception in thread "main" com.qubole.com.amazonaws.services.s3.model.AmazonS3Exception: Bad Request (Service: Amazon S3; Status Code: 400; Error Code: 400 Bad Request;

Для всех ведер с

{
    "LocationConstraint": "us-west-1"
}

в qubole hadoop

но не для сегментов без ограничения местоположения

{
    "LocationConstraint": null
}

Answer 1

никогда не видел этого, но я никогда не играл с этим ограничением. Причиной может быть то, что по умолчанию клиент общается с S3 через центральную конечную точку по умолчанию, а не с западной стороны США.

см. s3a устранение неисправностей

установите fs.s3a.endpoint на соответствующий , указанный здесь

если это сработает - обновите этот вопрос ... это будет чем-то, что обновит документы s3, тогда