У меня есть работа spark, где я читаю данные из нескольких файлов hadoop и записываю их в таблицу cassandra.Я получаю следующую ошибку, когда запускаю искровое задание:
org.apache.hadoop.security.AccessControlException: пользователю root (идентификатор пользователя 0) было отказано в доступе для создания application_1558587698997_88549 на com.mapr.fs.MapRFileSystem.makeDir (MapRFileSystem.java:1142) в com.mapr.fs.MapRFileSystem.mkdirs (MapRFileSystem.java:1162) в org.apache.hadoop.fs.FileSystem.mkdirs (FileSystem.java:1913) в org.apache.hadoop.fs.FileSystem.mkdirs (FileSystem.java:634) в org.apache.spark.deploy.yarn.Client.prepareLocalResources (Client.scala: 409) в org.apache.spark.deploy.yarn.Client.createContainerLaunchContext (Client.scala: 814) по адресу org.apache.spark.deploy.yarn.Client.submitApplication (Client.scala: 169) по адресу org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.startS:) в org.apache.spark.scheduler.TaskSchedulerImpl.start (TaskSchedulerImpl.scala: 173) в org.apache.spark.SparkContext. (SparkContext.scala: 509) в org.apache.spark.api.java.JavaSparkCon. (JavaSparkContext.scala: 58) в com.walmart.labs.back.to.school.TeachersListETLForList. (TeachersListETLForList.java:99) в com.walmart.labs.back.to.school.TeachersListETLForList.main (Teachers: 605) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImphoj.jmpj.refle.Method.invoke (Method.java:497) в org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 759) в org.apache.spark.Развернутьscala: 119) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)
Когда я устанавливаю мастер на локальный, он работает, но затем я получаю исключение из нехватки памяти какразмерфайлы огромны.Я также попытался установить его, как показано ниже, но не смог это исправить.
sparkConf.setMaster ("local [4]");
Это мой текущий параметр конфигурации:
sparkConf.setMaster (jobConfig.getString ("spark.context-settings.master"));
Я хочу запустить его с той же конфигурацией, но не уверен, как решить эту проблему.