Обновите EMR 5.19 до 5.20 - PullRequest
Новая
       12

Обновите EMR 5.19 до 5.20

0 голосов
/ 14 января 2019

В рамках обновления версии EMR Cluster до 5.20.0. Все фреймворки в кластере Big Data Frameworks и версии AWS Services были обновлены до последних версий.

Например:

Spark 2.3.2 до Spark 2.4.0

Престо от 0,212 до 0,214

При тестировании стабильности и совместимости версий с приложением мы обнаружили 1 серьезную проблему.

Т.е., aws cli не работает из-за того, что конфигурационный файл aws в кластере создается с именем региона равным нулю.

Ошибка в файле конфигурации:

s3 = signature_version = s3v4

регион = ноль

Учитывая, что я являюсь разработчиком или тестером, когда я создаю новый кластер EMR с конвейером Jenkins, вышеприведенная ошибка должна быть устранена, и aws cli должен работать без сбоев.

1 Ответ

0 голосов
/ 18 января 2019

У меня такие же проблемы, в этой теме на форуме aws говорят, что эту ошибку можно исправить, выполнив:

aws настроить установить default.region eu-west-1

в скрипте начальной загрузки.

См .: https://forums.aws.amazon.com/thread.jspa?messageID=883372#883372

...