Mrjob Step терпит неудачу.Как сделать отладку? - PullRequest
0 голосов
/ 03 октября 2018

Я пытаюсь запустить образец mrjob в кластере EMR.Я создал кластер EMR вручную на панели инструментов AWS и запустил mrjob следующим образом:

python keywords.py -r emr s3://commoncrawl/crawl-data/CC-MAIN-2018-34/wet.paths.gz --cluster-id j-22GFG1FUGS12L

Не удается выполнить задание со следующим сообщением об ошибке

Using configs in /etc/mrjob.conf
Using s3://mrjob-07d6e1cbb9127021/tmp/ as our temp dir on S3
emr_api_params is deprecated and does nothing. Please use extra_cluster_params instead
Could not infer endpoint for bucket commoncrawl; assuming defaults
Copying local files to s3://mrjob-07d6e1cbb9127021/tmp/keywords.ec2-user.20181002.164319.430013/files/...
Adding our job to existing cluster j-22GFG1FUGS12L
Creating temp directory /tmp/phonenumers.ec2-user.20181002.164319.430013
Connect to resource manager at: http://localhost:40750/cluster
Waiting for Step 1 of 1 (s-2OZF2A4TZTS06) to complete...
  RUNNING for 0:00:18
  FAILED
Cluster j-22GFG1FUGS12L is WAITING: Cluster ready after last step failed.
Attempting to fetch counters from logs...
Waiting 10 minutes for logs to transfer to S3... (ctrl-c to skip)

Как просмотреть сообщения об ошибках?

1 Ответ

0 голосов
/ 04 октября 2018

См. EMR docs , как получить журналы заданий и заданий.Поскольку копаться в журналах кластера нетривиально, я бы рекомендовал исчерпывающе протестировать код Python, используя локальный бегун mrjob .

...