Ошибка при вызове o67.load: java .lang.NoClassDefFoundError: org / apache / hadoop / fs / staging / StagingDirectoryCapable - PullRequest
0 голосов
/ 06 мая 2020

Сценарий следующий:

Я пытаюсь вычислить количество записей для файла в местоположении s3 из EMR, прочитав его через искру.

Это ошибка, которую я получаю:

при вызове o67.load: java .lang.NoClassDefFoundError: org / apache / hadoop / fs / staging / StagingDirectoryCapable.

Ошибка временная, иногда возникает и то и дело работает нормально.

Используемая версия Emr - 5.29.0

1 Ответ

0 голосов
/ 07 мая 2020

org / apache / hadoop / fs / staging / StagingDirectoryCapable.

Это должен быть класс / интерфейс, эксклюзивный для EMR; его нет в базе кода ASF. Возможно, есть проблемы с путями к классам

...