Отслеживание статуса задания Hadoop через веб-интерфейс? (Разоблачение Hadoop для внутренних клиентов в компании)

Question

Я хочу разработать веб-сайт, который позволит аналитикам внутри компании запускать задания Hadoop (выбрать из набора заданных заданий) и видеть статус их работы \ прогресс.

Существует ли простой способ сделать это?это (получить статусы рабочих мест и т. д.) через Ruby \ Python?Как вы предоставляете свой кластер Hadoop внутренним клиентам вашей компании?

Answer 1

Я нашел один способ получить информацию о вакансиях на JobTracker. Это код:

    Configuration conf = new Configuration();
    conf.set("mapred.job.tracker", "URL");

    JobClient client = new JobClient(new JobConf(conf));

    JobStatus[] jobStatuses = client.getAllJobs();
    for (JobStatus jobStatus : jobStatuses) {

        long lastTaskEndTime = 0L;

        TaskReport[] mapReports = client.getMapTaskReports(jobStatus.getJobID());
        for (TaskReport r : mapReports) {
            if (lastTaskEndTime < r.getFinishTime()) {
                lastTaskEndTime = r.getFinishTime();
            }
        }

        TaskReport[] reduceReports = client.getReduceTaskReports(jobStatus.getJobID());
        for (TaskReport r : reduceReports) {
            if (lastTaskEndTime < r.getFinishTime()) {
                lastTaskEndTime = r.getFinishTime();
            }
        }
        client.getSetupTaskReports(jobStatus.getJobID());
        client.getCleanupTaskReports(jobStatus.getJobID());

        System.out.println("JobID: " + jobStatus.getJobID().toString() + 
                            ", username: " + jobStatus.getUsername() + 
                            ", startTime: " + jobStatus.getStartTime() + 
                            ", endTime: " + lastTaskEndTime + 
                            ", Durration: " + (lastTaskEndTime - jobStatus.getStartTime()));

    }

Answer 2

Начиная с версии 'beta 2' дистрибутива Hadoop от Cloudera, вы почти без труда можете использовать Hadoop User Experience (HUE), который ранее назывался Cloudera Desktop.

Но с тех пор эта версия сильно выросла. Он поставляется с дизайнером работы, интерфейсом улья и многим другим. Вы должны определенно проверить это, прежде чем принять решение о создании собственного приложения.

Answer 3

Может быть, для начала стоит взглянуть на Cloudera Destktop . Он предоставляет веб-интерфейс для выполнения задач администрирования кластера и разработки заданий. Его можно загрузить бесплатно.

Answer 4

Нет ничего подобного, что поставляется с hadoop. Это должно быть тривиально, чтобы построить эту функциональность. Некоторые из них доступны на странице JobTracker, а некоторые вам придется создавать самостоятельно.