Как регистрировать сообщения от Hadoop?

Question

Как я могу регистрировать сообщения от Hadoop Mapper (или Combiner / Reducer / что угодно), чтобы позже найти эти пользовательские сообщения в журналах Hadoop?

public class GfimlMapper extends Mapper<Object, Text, Text, RawTerm>
{
    public void map(Object key, Text value, final Context context
                    ) throws IOException, InterruptedException {
...
        Logger.log("HELLO THERE!"); // ???
...
    }
}

Answer 1

Если вы перейдете к трекеру работы вашего кластера, то для ваших отдельных работ вы должны получить список задач (сопоставлений и сокращений), которые были выполнены, а затем справа должна быть ссылка для просмотра журналов для этой задачи. Я думаю, вы можете увидеть там stdout, syserr и системные журналы. Проверьте стандартный вывод (не все из них будут иметь вывод, но по крайней мере один будет в моем опыте ...)

Удачи!