EMR 6 Beta с поддержкой Docker имеет проблему с доступом к S3 - PullRequest
Новая
       13

EMR 6 Beta с поддержкой Docker имеет проблему с доступом к S3

0 голосов
/ 27 апреля 2020

Я изучаю новый EMR 6.0.0 с поддержкой Docker, чтобы принять решение, если мы хотим его использовать. Один из наших проектов написан в Scala 2.11. Но EMR 6.0.0 поставляется с Spark, построенным из Scala 2.12. Поэтому я переключился на 6.00-бета-версию Spark 2.4.3, созданную из Scala 2.11. Если он работает на 6.0.0-бета-версии, мы обновим наш код до Scala 2.12 и будем использовать 6.0.0.

Некоторые проблемы, с которыми я сталкиваюсь, это при попытке запустить мою Scala spark задание:

  1. При попытке прочитать паркет из S3 я получил сообщение об ошибке: java .lang.RuntimeException: невозможно создать временные каталоги: [/ mnt / s3]
  2. Когда Я попытался выполнить вызов API с помощью https, я получил ошибку: usun.security.validator.ValidatorException: сбой при создании пути PKIX: sun.security.provider.certpath.SunCertPathBuilderException: не удалось найти действительный путь сертификации для запрошенной цели.
  3. Когда он попытался прочитать файлы из S3, я получил ошибку: класс com.amazon.ws.emr.had oop .fs.EmrFileSystem не найден. Я смог взломать этот, пройдя путь по --jars. Возможно, не лучшее решение.

Я предполагаю, что мне нужно что-то установить либо во время bootstrap, либо в файле Docker.

Может кто-нибудь помочь, пожалуйста? Спасибо!

1 Ответ

0 голосов
/ 29 апреля 2020

Я выясняю проблему S3. В бета-версии / mnt / s3 не монтируется и ему разрешено чтение и запись.

Поэтому мне нужно добавить "docker .allowed.rw-mounts" в конфигурацию контейнера-исполнителя, как показано ниже:

docker .allowed.rw-mounts = / etc / пароль, / мнт / s3

...