Я пытаюсь отправить задание distCP из приложения весенней загрузки по вызову API REST.
версия spring: 1.5.13. Версия hadoop RELEASE: 2.7.3
нижекод, который я использую для создания экземпляра DistCP:
List<Path> srcPathList = new ArrayList<Path>();
srcPathList.add(new Path("hdfs://<cluster>/tmp/<user>/source"));
Path targetPath = new Path("hdfs://<cluster>/tmp/<user>/destination");
DistCpOptions distCpOptions = new DistCpOptions(srcPathList,targetPath);
DistCp distCp = new DistCp(configuration,distCpOptions);
Job job = distCp.execute();
Задание успешно отправлено в кластер, однако задание не выполняется из-за исключения ClassNotFoundException в кластере.Ниже приведено исключение:
INFO [main] org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.mapreduce.v2.app.MRAppMaster failed in state INITED;
cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException:
java.lang.RuntimeException: java.lang.ClassNotFoundException:
Class org.apache.hadoop.tools.mapred.CopyOutputFormat not found
Почему это происходит?Любые указатели вокруг этого были бы очень полезны!Спасибо!