Если я хочу использовать zookeeper в качестве рабочей очереди и подключать к нему отдельных потребителей / работников.Что бы вы порекомендовали в качестве хорошей распределенной установки для регистрации активности этих работников?
Допустим следующее:
1) В любое время мы можем использовать только один компьютер с кластером hadoop.Система будет автоматически масштабироваться по мере необходимости, но имеет много времени простоя, когда необходим только один компьютер.
2) Мне просто нужна возможность доступа ко всем журналам рабочих, не обращаясь к отдельной машине этого работника.находится по адресу.Имейте в виду, что к тому времени, когда я прочитаю один из этих журналов, машина вполне может быть прервана и давно уйдет.
3) Нам потребуется легкий доступ к журналам, т. Е. Возможность cat /grep и tail или, альтернативно, более SQLish - нам понадобится возможность в режиме реального времени как запрашивать, так и отслеживать выходные данные в течение коротких периодов времени в реальном времени.(т.е. tail -f /var/log/mylog.1)
Я ценю ваши экспертные идеи здесь!
Спасибо.