Ошибка Hadoop MRJob при попытке прочитать какой-либо файл в основной функции или mapper_init - PullRequest
Новая
       48

Ошибка Hadoop MRJob при попытке прочитать какой-либо файл в основной функции или mapper_init

0 голосов
/ 30 марта 2019

Я сохранил некоторые идентификаторы в именах текстовых файлов trainTestID.txt. Мне нужны эти идентификаторы для фильтрации моих входных данных, если они должны быть обучены или нет.Мой код 

with open(idFile) as input:
    lines = input.readlines()
    for line in lines:
        line = line.strip('\n')
        line = line.replace('"','')
        line = line.split('\t')
        if line[0] == 'train':
            IDs = line[1].split(',')

Я пытаюсь запустить его в функции main , init для класса MRJob и mapper_init.Без этого кода мой картограф даст желаемые результаты.Но с этим я не могу выполнить свой картограф.Вот самая значительная часть ошибки, которую я могу процитировать: 

Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143.

map 100% reduce 100%
Job job_1553895468398_0019 failed with state FAILED due to: Task failed task_1553895468398_0019_m_000001
Job failed as tasks failed. failedMaps:1 failedReduces:0

Job not successful!
Streaming Command Failed!
...