Hadoop: Mapreduce не запускается / работает - PullRequest
Новая
       58

Hadoop: Mapreduce не запускается / работает

1 голос
/ 07 октября 2019

Я новичок в Hadoop, пожалуйста, помогите

2019-10-07 18: 44: 46 563 [главная] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine. mapReduceLayer.MapReduceLauncher - HadoopJobId: job_1569922894111_0023 2019-10-07 18: 44: 46,563 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduce, 46,5 чел. [main] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - подробные местоположения: M: поездка [1,7], поездка [-1, -1] C: R: 2019-10-07 18: 44: 46,575 [main] ИНФОРМАЦИЯ org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - выполнено 0% 2019-10-07 18: 44: 46,575 [main] ИНФО org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Выполненные задания: [job_1569922894111_0023]

Это то, что я получил после использования команды 'dump trip;', я загрузил данные и сохранил их в trip. Наверное, MapReduce не запущен / не запускается. 

mapred-site.xml

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

    <property>
            <name>mapreduce.map.memory.mb</name>
            <value>1024</value>
        </property>

         <property>
            <name>mapreduce.reduce.memory.mb</name>
            <value>1024</value>
        </property>

        <property>
            <name>mapreduce.reduce.cpu.vcores</name>
            <value>2</value>
            <description>The number of virtual cores required for each map task.</description>
        </property>

         <property>
            <name>mapreduce.reduce.cpu.vcores</name>
            <value>2</value>
            <description>The number of virtual cores required for each map task.</description>
        </property>
    </configuration>


yarn-site.xml

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>0.0.0.0</value>
    </property>
</configuration>
...