Мне нужно собирать и хранить большое количество данных из разных типов файлов журналов, но перед этим необходимо отфильтровать определенные поля для извлечения только необходимой информации. Так что я думаю о возможности использовать инструмент ETL, чтобы сделать грязную службу для меня. Моя идея состоит в том, чтобы создать решение на основе файлового соединителя, запрограммировать или настроить процессы преобразования и, наконец, развернуть это решение на машинах Linux для возможности наблюдения за файлом на лету, извлечения необходимой информации и сохранения ее, например, в базе данных.
Итак, мой вопрос. Какой инструмент с открытым исходным кодом является более подходящим, гибким и более KISS для этой работы?
Скриптелла, Чайник, Талант или другое?
Опять же, для работы с журнальными / текстовыми файлами существует как инструмент де-факто?
Мужественное намерение и цель - создать эффективное решение для просмотра, извлечения журналов и хранения данных в форматах журналов районов.
Thx!