Мы пытались запустить приложение java в Apache Spark, используя архитектуру master-worker. Ниже приведен пом. xml для приложения java:
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>Final</groupId>
<artifactId>DLSH</artifactId>
<version>0.0.1-SNAPSHOT</version>
<properties>
<maven.compiler.source>11</maven.compiler.source>
<maven.compiler.target>11</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.0.0</version>
<scope>provided</scope>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>3.0.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-mllib_2.12</artifactId>
<version>3.0.0</version>
<scope>provided</scope>
</dependency>
</dependencies>
</project>
Ниже приведена конфигурация искры для приложения java:
SparkSession spark = SparkSession
.builder()
.appName("JavaBucketedRandomProjectionLSHExample")
.master(args[0])
.getOrCreate();
Java Используемая версия-11
- Это отлично работает, когда я пытаюсь запустить с помощью spark-submit, установив главный URL-адрес с одним рабочим узлом.
Фактическая проблема:
- Когда я пытаюсь запустить программу на двух рабочих узлах (две разные машины, использующие одну и ту же сеть) с помощью spark-submit, я столкнулся с проблемой несовместимости локального класса .
Ниже приведена команда, которую я использовал для запуска с двумя рабочими узлами с помощью spark-submit:
Ниже приведен веб-интерфейс искры для указанной выше конфигурации:
3.1.0-SNAPSHOT Spark Master at spark://mushfiq:7077
URL: spark://mushfiq:7077
Alive Workers: 2
Cores in use: 16 Total, 0 Used
Memory in use: 29.2 GiB Total, 0.0 B Used
Resources in use:
Applications: 0 Running, 34 Completed
Drivers: 0 Running, 0 Completed
Status: ALIVE
Workers (2)
Worker Id Address State Cores Memory
worker-20200617123647-128.123.63.43-45983 128.123.63.43:45983 ALIVE 8 (0 Used) 14.6 GiB (0.0 B Used)
worker-20200617124042-128.123.63.78-34355 128.123.63.78:34355 ALIVE 8 (0 Used) 14.6 GiB (0.0 B Used)
Ниже приведена команда spark-submit, используемая для выполнения java jar приложения с использованием над двумя рабочими узлами:
./spark-submit --class DistributedLSH.Application /home/mushfiq/Desktop/Eclipse/DLSHlatest.jar spark://mushfiq:7077 /home/mushfiq/Desktop/LSH/Datasets/Color/Color.ds /home/mushfiq/Desktop/LSH/Datasets/Color/randomdata.ds
Объяснение приведенной выше команды:
./spark-submit --class <ClassName>
<Path to Jar File("/home.../DSHlatest.jar")>
<args[0]-Master URL(spark://mushfiq:7077)>
<args[1](/home/..../Color.ds)>
<args[2](/home/.....randomdata.ds)>
Apache версия Spark для Spark-submit - Мы использовали следующую версию GitHub для spark-submit - Apache Версия Spark
Вопрос
- Итак, при запуске с помощью указанной выше команды мы получаем следующее исключение:
Lost task 1.3 in stage 2.0 (TID 9, 128.123.63.78, executor 1): java.io.InvalidClassException: org.apache.spark.sql.catalyst.encoders.ExpressionEncoder;
local class incompatible: stream classdesc serialVersionUID = -2784885576793145316, local class serialVersionUID = -2690984018213736661
- Я перепробовал множество подходов, чтобы исправить проблему. Но не смог. Я думаю, что проблема может заключаться в несовпадении версий Spark для pom. xml spark и spark-submit. Любая помощь здесь приветствуется. Заранее спасибо. Также, если у вас есть какие-либо вопросы по этому поводу, дайте мне знать.