Hadoop: инструменты для визуализации ключевых данных и файлов для разработки

Question

Существуют ли какие-либо простые, легко запускаемые инструменты Java для визуализации данных ключа / значения из карты, уменьшающие каталоги заданий?

В частности, я хочу просмотреть карту из 20 заданий, сократить рабочий процесс, щелкнув мышьюна отдельных файлах и глядя на данные, и, возможно, даже увидеть гистограмму размеров файлов.

• Здесь есть некоторые оговорки, например -

  • Некоторые файлы имеют сериализованные данные (не только текст)
  • Очевидно, эта системавероятно, было бы глупо использовать в «облачном масштабе», а не его инструмент разработки.

Тем не менее, такой инструмент был бы полезен для разработки и локальной отладки больших подключенных конвейеров m / r.

Это дляцели разработки (я не пытаюсь визуализировать данные распределенного ключа / значения hadoop в реальном кластере).

Answer 1

Оформить заказ KarmaSphere Studio

Пошаговое наблюдение за выполнением задания
- Рабочий процесс с результатами: отображение результатов на каждом шаге задания MapReduce.
- Журналы Hadoop с рабочего стола: легкий доступ к журналам Hadoop с рабочего стола.
- Параметры сбоя задания: позволяет указать параметры сбоя задания, такие как автоматический вызов указанного сценария при сбое задания для EMR.