Невозможно выполнить код python mrjob на hadoop - PullRequest
0 голосов
/ 21 февраля 2020

Я пытаюсь запустить код mapreduce, который написан на python, используя mrjob. Следующая команда, которую я использую для этого:

python p1.py -r имел oop --had oop -streaming-jar имел oop -streaming-2.10. 0.jar u.data

после выполнения этой команды я получаю следующую ошибку.

 Found 2 unexpected arguments on the command line [hdfs:///user/HP/tmp/mrjob/p1.HP.20200221.155103.439394/files/wd/p1.py#p1.py, hdfs:///user/HP/tmp/mrjob/p1.HP.20200221.155103.439394/files/wd/setup-wrapper.sh#setup-wrapper.sh]
  Try -help for more information
  Streaming Command Failed!
Attempting to fetch counters from logs...
Can't fetch history log; missing job ID
No counters found
Scanning logs for probable cause of failure...
Can't fetch history log; missing job ID
Can't fetch task logs; missing application I

Я не могу выяснить, каковы два неожиданных аргумента, которые дают эта ошибка. Правильный ли формат команды?

...