Я создал приложение spark, которое обрабатывает широту / долготу и идентифицирует зону, определенную в пользовательских файлах форм, предоставленных клиентом.Учитывая это требование, я создал файл jar тени, используя maven.Но когда я запускаю приложение через spark-submit, оно выдает следующую ошибку
ПРЕДУПРЕЖДЕНИЕ: пользовательский SPARK_HOME (/opt/cloudera/parcels/CDH-5.13.2-1.cdh5.13.2.p0.3 / lib / spark) обнаружены переопределения (/app/cloudera/parcels/CDH-5.13.2-1.cdh5.13.2.p0.3/lib/spark).ВНИМАНИЕ: Запуск спарк-класса из определенного пользователем места.18/10/19 17:41:58 ИНФОРМАЦИЯ SparkContext: Запуск Spark версии 1.6.0 18/10/19 17:41:59 Конфигурация ОШИБКИ: ошибка разбора conf core-default.xml javax.xml.parsers.ParserConfigurationException: Feature 'http://apache.org/xml/features/xinclude' не распознается.в org.apache.xerces.jaxp.DocumentBuilderFactoryImpl.newDocumentBuilder (неизвестный источник) в org.apache.hadoop.conf.Configuration.loadResource (Configuration.java:2694) в org.apache.hadoop.conf.Configuration.loadResources (Java: 2653) в org.apache.hadoop.conf.Configuration.getProps (Configuration.java:2559) в org.apache.hadoop.conf.Configuration.get (Configuration.java:1078) в org.apache.hadoop.conf.Configuration.getTrimmed (Configuration.java:1132) в org.apache.hadoop.conf.Configuration.getBoolean (Configuration.java:1540) в org.apache.hadoop.security.SecurityUtil.setConfigurationInternal (SecurityUtil.java:85) вorg.apache.hadoop.security.SecurityUtil. (SecurityUtil.java:74) в org.apache.hadoop.security.UserGroupInformation.initialize (UserGroupInformation.java:316) в org.apache.hadoop.security.UserGroupInformation.ensureInitialized (UserGroup).java: 304) в org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject (UserGroupInformation.java:891) в org.apache.hadoop.security.UserGroupInformation.getLoginUser (UserGroupInformation.java:857) в org.apache.hadoop.security.UserGroupInformation.getCurrentUser (UserGroupInformation.java:724) в org.apache.spark.util.Utils $$ anurfunser $$ 1.apply (Utils.scala: 2214) в org.apache.spark.util.Utils $$ anonfun $ getCurrentUserName $ 1.apply (Utils.scala: 2214) в scala.Option.getOrElse (Option.scala: 120) в организации.apache.spark.util.Utils $ .getCurrentUserName (Utils.scala: 2214) в org.apache.spark.SparkContext. (SparkContext.scala: 324) в org.apache.spark.api.java.JavaSparkContext. (JavaSparkContext.scala: 59) в com.abc.xyz.ShapeFileDataProcessor.main (ShapeFileDataProcessor.java:36) в sun.reflect.NativeMethodAccessorImpl.invoke0 (родной метод) в sun.reflect.NativeMethodAccessorImpl.invod.jav): Native.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:606) в org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 730) в org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1 (SparkSubmit.scala: 181) в org.apache.spark.deploy.SparkSubmit$ .submit (SparkSubmit.scala: 206) при исключении org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 121) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala) в потоке"main" java.lang.ExceptionInInitializerError at org.apache.hadoop.security.UserGroupInformation.initialize (UserGroupInformation.java:316) в org.apache.hadoop.security.UserGroupInformation.ensureInitialized (UserGroupInformation.java:304g) или.hadoop.security.UserGroupInformation.loginUserFromSubject (UserGroupInformation.java:891) в org.apache.hadoop.security.UserGroupInformation.getLoginUser (UserGroupInformation.java:857)в org.apache.hadoop.security.UserGroupInformation.getCurrentUser (UserGroupInformation.java:724) в org.apache.spark.util.Utils $$ anonfun $ getCurrentUserName $ 1.apply (Utils.scala: 2214) в org.apache.spark.util.Utils $$ anonfun $ getCurrentUserName $ 1.apply (Utils.scala: 2214) в scala.Option.getOrElse (Option.scala: 120) в org.apache.spark.util.Utils $ .getCurrentUserName (Utils.scala:2214) в org.apache.spark.SparkContext. (SparkContext.scala: 324) в org.apache.spark.api.java.JavaSparkContext. (JavaSparkContext.scala: 59) в com.abc.xyz.ShapeFileDataProcessor.main (ShapeF.java: 36) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) в sun.reflect.DelegatingMethodAccessor.javjjlang.reflect.Method.invoke (Method.java:606) в org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 730) в org.apache.искра.Развернутьscala: 121) at org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala) Причина: java.lang.RuntimeException: javax.xml.parsers.ParserConfigurationException: Feature 'http://apache.org/xml/features/xinclude' не распознается.в org.apache.hadoop.conf.Configuration.loadResource (Configuration.java:2820) в org.apache.hadoop.conf.Configuration.loadResources (Configuration.java:2653) в org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2559) в org.apache.hadoop.conf.Configuration.get (Configuration.java:1078) в org.apache.hadoop.conf.Configuration.getTrimmed (Configuration.java:1132) в org.apache.hadoop.conf.Configuration.getBoolean (Configuration.java:1540) в org.apache.hadoop.security.SecurityUtil.setConfigurationInternal (SecurityUtil.java:85) в org.apache.hadoop.security.SecurityUtil. (SecurityUtil.java:74) ... еще 21 Причина: javax.xml.parsers.ParserConfigurationException: функция 'http://apache.org/xml/features/xinclude' не распознана.в org.apache.xerces.jaxp.DocumentBuilderFactoryImpl.newDocumentBuilder (неизвестный источник) в org.apache.hadoop.conf.Configuration.loadResource (Configuration.java:2694) ... еще 28
Здесьэто команда spark-submit
spark-submit --name ShapeFileProcessor --master yarn-client --files application.properties --conf "spark.driver.extraJavaOptions=-XX:+UseConcMarkSweepGC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/adp-spark-stream/ " --conf "spark.eventLog.enabled=true" --conf "spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/adp-spark-stream/ " --class com.abc.xyz.ShapeFileDataProcessor CustomShapeFileAggregator-0.0.1.jar
вот фрагмент кода из gradle для хранилища и зависимости
repositories {
mavenLocal()
maven { url 'http://maven.geo-solutions.it' }
maven { url 'http://download.java.net/maven/2' }
maven { url 'http://download.osgeo.org/webdav/geotools/' }
}
task shadowJar(type: Jar) {
manifest {
attributes 'Implementation-Title': 'My Application',
'Implementation-Version': version
}
baseName = project.name
from {
configurations.compile.collect {
it.isDirectory() ? it : zipTree(it)
}
}
with jar
}
dependencies {
compile group: 'org.geotools', name: 'gt-shapefile', version: '14.5'
compile group: 'org.geotools', name: 'gt-swing', version: '14.5'
provided group: 'org.apache.spark', name: 'spark-core_2.10', version: '1.6.0'
provided group: 'org.apache.spark', name: 'spark-sql_2.10', version: '1.6.0'
provided group: 'org.apache.spark', name: 'spark-hive_2.10', version: '1.6.0'
}