java.lang.RuntimeException: Could not create interface org.apache.hadoop.hbase.zookeeper.MetricsZooKeeperSource Is the hadoop compatibility jar on the classpath
Четкое указание на несоответствие версий файлов Jadoop JAR.
он работает в local от вашего идеала, поскольку у вас есть соответствующий jar в вашем classpath.
где в качестве кластерного или клиентского режима спарк-отправки это не так.
упаковывает все зависимости вашего приложения в один jar-файл, который находится в вашем локальном каталоге (поскольку он работает) и выполняет spark-submit
Как отлаживать: вы можете распечатать все банки в локальном, как это в
1011 * Ла Скала *
def urlsinclasspath(cl: ClassLoader): Array[java.net.URL] = cl match {
case null => Array()
case u: java.net.URLClassLoader => u.getURLs() ++ urlses(cl.getParent)
case _ => urlsinclasspath(cl.getParent)
}
val urls = urlsinclasspath(getClass.getClassLoader).foreach(println)
Java :
import java.net.URL;
import java.net.URLClassLoader;
public static void urlsInClasspath () {
ClassLoader cl = ClassLoader.getSystemClassLoader();
URL[] urls = ((URLClassLoader)cl).getURLs();
for(URL url: urls){
System.out.println(url.getFile());
}
}