не могу запустить свинью с одним узлом сервера Hadoop - PullRequest
2 голосов
/ 20 июля 2011

Я установил виртуальную машину с Ubuntu. Он запускает hadoop как один узел. Позже я установил на него apache pig. Apache Pig прекрасно работает с локальным режимом, но это всегда выпускной

Я упускаю что-то очень очевидное. Может кто-нибудь помочь мне запустить это, пожалуйста?

Подробнее: 1. Я предполагаю, что hadoop работает нормально, потому что я мог запускать задания MapReduce на python. 2. Свинья-х местная работает, как я ожидаю. 3. когда я просто набираю pig, это дает мне следующую ошибку

Error before Pig is launched
----------------------------
ERROR 2999: Unexpected internal error. Failed to create DataStorage

java.lang.RuntimeException: Failed to create DataStorage
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:75)
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.(HDataStorage.java:58)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:214)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:134)
    at org.apache.pig.impl.PigContext.connect(PigContext.java:183)
    at org.apache.pig.PigServer.(PigServer.java:226)
    at org.apache.pig.PigServer.(PigServer.java:215)
    at org.apache.pig.tools.grunt.Grunt.(Grunt.java:55)
    at org.apache.pig.Main.run(Main.java:452)
    at org.apache.pig.Main.main(Main.java:107)
Caused by: java.io.IOException: Call to localhost/127.0.0.1:54310 failed on local exception: java.io.EOFException
    at org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
    at org.apache.hadoop.ipc.Client.call(Client.java:743)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
    at $Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:207)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:170)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:72)
    ... 9 more
Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:375)
    at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:446)
================================================================================

Ответы [ 3 ]

3 голосов
/ 21 июля 2011

Ссылка помогла мне понять возможную причину сбоя.

Вот что исправило мою проблему.
1. Перекомпилируйте свинью без hadoop.
2. Обновите PIG_CLASSPATH, чтобы иметь все jar-файлы из $ HADOOP_HOME / lib
3. Запустите свинью.

Спасибо.

0 голосов
/ 03 сентября 2013

установите в PIG_CLASSPATH указание на правильную установку HADOOP_HOME, чтобы Pig мог получить информацию о кластере из файлов core-site.xml, mapreduce-site.xml и hdfs-site.xml, лучше перейти по ссылке для правильной установки.

0 голосов
/ 15 ноября 2011

Просто установите Cygwin, затем добавьте путь Cygwin в переменную среды Path:

Подробнее см. здесь .

...