Я хочу запускать некоторые задания MapReduce с помощью Hbase локально в TOS для Big Data 7.0 в моей Windows 10 x64 с cloudera 5.13.0. На моем компьютере не установлено ни одной версии.
Я создал проект Maven с hadoop 2.6.0 в другой машине и добавил его в свою работу в качестве зависимости от пользовательской процедуры. Я могу успешно подключиться к Hbase и добавить новые таблицы, но когда я хочу отправить задание MapReduce, я получаю следующую ошибку:
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)
at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:478)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:532)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:312)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:144)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1746)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
Я нашел некоторые решения в сети.
Я поместил hadoop.dll и winutils.exe и другие файлы по этой ссылке в папку C: \ winutils \ bin, и я добавил эту папку в PATH и HADOOP_HOME, как показано на рисунке, я также поместил hadoop.dll в папка C: \ Windows \ System32. Но у меня всегда одна и та же проблема.
