Индекс функции shadoop (структура SpatialHadoop в верхней части Hadoop) - PullRequest
0 голосов
/ 03 декабря 2018

Я установил SpatialHadoop в кластере с настроенным Hadoop.Я запустил команду:

shadoop generate test.rects size:1.gb shape:rect mbr:0,0,1000000,1000000

Сработало и сгенерировал файл test.rects.Но когда я выполняю команду:

shadoop index test.rects sindex:grid test.grid shape:rect 

Происходит следующее и файл не создается:

INFO mapreduce.JobResourceUploader: отключение кодирования Erasure для пути: / tmp / hadoop-yarn / staging / root / .staging / job_1543851353559_0004

2018-12-03 15: 50: 14,800 INFO mapreduce.JobSubmitter: Очистка области подготовки /tmp/hadoop-yarn/staging/root/.staging/ job_1543851353559_0004

java.lang.NoSuchFieldError: LOG

в edu.umn.cs.spatialHadoop.mapred.SpatialInputFormat.listStatus (SpatialInputFormat.java:161)

1017 *1016* 1017.apache.hadoop.mapred.FileInputFormat.getSplits (FileInputFormat.java:325)

в org.apache.hadoop.mapreduce.JobSubmitter.writeOldSplits (JobSubmitter.java:341)

.apache.hadoop.mapreduce.JobSubmitter.writeSplits (JobSubmitter.java:332)

в org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal (JobSubmitter.java:203)

1025.apache.hadoop.mapreduce.Job $ 11.run (Job.java:1570)

в org.apache.hadoop.mapreduce.Job $ 11.run (Job.java:1567)

в java.security.AccessController.doPrivileged (собственный метод)

в javax.security.auth.Subject.doAs (Subject.java:422)

в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1729)

в org.apache.hadoop.mapreduce.Job.submit (Job.java:1567)

в org.apache.hadoop.mapred.JobClient $ 1.run (JobClient.java:576)

в org.apache.hadoop.mapred.JobClient $ 1.run (JobClient.java:571)

в java.security.AccessController.doPrivileged (собственный метод)

в javax.security.auth.Subject.doAs (Subject.java:422)

в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1729)

в org.apache.hadoop.mapred.JobClient.submitJobInternal (JobClient.java:571)

в org.apache.hadoop.mapred.JobClient.submitJob (JobClient.java:562)

в org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:873)

в edu.umn.cs.spatialHadoop.operations.Sampler.sampleMapReduceWithRatio (Sampler.java:211)

в edu.umn.cs.spatialHadoop.operations.Sampler.sample (Sampler.java:543)

в edu.umn.cs.spatialHadoop.indexing.Indexer.createPartitioner (Indexer.java:302)

в edu.umn.cs.spatialHadoop.indexing.Indexer.createPartitioner (Indexer.java:239)

в edu.umn.cs.spatialHadoop.indexing.Indexer.indexMapReduce (Indexer.java:196)

в конце.umn.cs.spatialHadoop.indexing.Indexer.index (Indexer.java:430)

в edu.umn.cs.spatialHadoop.indexing.Indexer.main (Indexer.java:467)

в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод)

в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)

в sun.remporDelegatingMethodAccessorImpl.java:43)

в java.lang.reflect.Method.invoke (Method.java:498)

в org.apache.hadoop.util.ProgramDriver $ ProgramDescription.invoke (ProgramDriver.java:71)

в org.apache.hadoop.util.ProgramDriver.run (ProgramDriver.java:144)

вorg.apache.hadoop.util.ProgramDriver.driver (ProgramDriver.java:152)

в edu.umn.cs.spatialHadoop.operations.Main.main (Main.java:137)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...