Просмотр количества узлов, используемых в запросах Hive

Question

Мне нужно просмотреть количество узлов, используемых в моем кластере HDinsights при выполнении запросов к кустам.Как я могу просмотреть это во время выполнения моих запросов.Я знаю, что представление Ambari обеспечивает это, но где я могу получить точное количество используемых узлов и хранилища.Спасибо

Answer 1

После запуска задания просмотрите текущий журнал Jobtracker, и вы можете увидеть такие записи:

2014-01-23 20:14:59,136 INFO org.apache.hadoop.mapred.JobInProgress: Input size for job job_201401221948_0006 = 1395667. Number of splits = 7
2014-01-23 20:14:59,137 INFO org.apache.hadoop.mapred.JobInProgress: tip:task_201401221948_0006_m_000000 has split on node:/fd0/ud0/localhost
2014-01-23 20:14:59,137 INFO org.apache.hadoop.mapred.JobInProgress: tip:task_201401221948_0006_m_000001 has split on node:/fd0/ud0/localhost

......

Если вы видите Numberof split = 1, будет одна задача на карте, и вы знаете, что будет использоваться только узел.

, и когда число разделений> 1, для каждого разделения вы увидите задачу картысоздается с помощью информации узла Tasktracker, как это -

2014-01-23 20:14:59,153 INFO org.apache.hadoop.mapred.JobTracker: Adding task (JOB_SETUP) 'attempt_201401221948_0006_m_000008_0' to tip task_201401221948_0006_m_000008, for tracker 'tracker_workernode7:127.0.0.1/127.0.0.1:49200'