потоковая передача hadoop: как просматривать журналы приложений?

Question

Я вижу все журналы hadoop на моем /usr/local/hadoop/logs пути

а где посмотреть журналы уровня приложений? например:

mapper.py

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement  

reducer.py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

Где я могу увидеть logging.info или соответствующие записи в журнале моего приложения?
Я использую Python и использую hadoop-streaming

Спасибо

Answer 1

Hadoop собирает stderr, который можно просмотреть на карте hadoop / уменьшить статус сайта. Так что вы можете просто написать в stderr.

Answer 2

Потоковая передача Hadoop использует STDIN / STDOUT для передачи пар ключ / значение между преобразователями и редукторами, поэтому сообщения журнала должны быть записаны в определенный файл журнала - проверьте пример кода и документация по питону для более подробной информации.Этот запрос также может помочь.