Я хочу экспортировать из нескольких узлов файлы журналов (в моем случае доступ к Apache и журналы ошибок) и объединять эти данные в пакетном режиме, как запланированное задание. Я видел несколько решений, которые работают с потоковыми данными (то есть, думаю, писец). Я хотел бы инструмент, который дает мне гибкость, чтобы определить пункт назначения. Это требование связано с тем, что я хочу использовать HDFS в качестве места назначения.
Мне не удалось найти инструмент, поддерживающий это в пакетном режиме. Перед тем, как заново создать колесо, я хотел бы попросить сообщество StackOverflow высказать свое мнение.
Если в Python уже есть решение, это было бы еще лучше.