Ошибка при вызове o67.load: java .lang.NoClassDefFoundError: org / apache / hadoop / fs / staging / StagingDirectoryCapable

Question

Сценарий следующий:

Я пытаюсь вычислить количество записей для файла в местоположении s3 из EMR, прочитав его через искру.

Это ошибка, которую я получаю:

при вызове o67.load: java .lang.NoClassDefFoundError: org / apache / hadoop / fs / staging / StagingDirectoryCapable.

Ошибка временная, иногда возникает и то и дело работает нормально.

Используемая версия Emr - 5.29.0

Answer 1

org / apache / hadoop / fs / staging / StagingDirectoryCapable.

Это должен быть класс / интерфейс, эксклюзивный для EMR; его нет в базе кода ASF. Возможно, есть проблемы с путями к классам