ClassNotFoundException при создании сеанса Spark

Question

Я пытаюсь создать сеанс Spark в модульном тесте, используя приведенный ниже код

val spark = SparkSession.builder.appName("local").master("local").getOrCreate()

но при выполнении тестов я получаю сообщение об ошибке ниже:

java.lang.ClassNotFoundException: org.apache.hadoop.fs.GlobalStorageStatistics$StorageStatisticsProvider

Я пытался добавить зависимость, но безрезультатно. Может кто-нибудь указать причину и решение этой проблемы?

Answer 1

Это может быть по двум причинам. 1. У вас могут быть несовместимые версии стеков spark и Hadoop. Например, HBase 0.9 несовместим с искрой 2.0. Это приведет к тому, что класс / метод не найдет исключений. 2. У вас может быть несколько версий одной и той же библиотеки из-за ада зависимости. Вам может потребоваться запустить дерево зависимостей, чтобы убедиться, что это не так.