Форматирование организации и фильтрации данных из текстовых файлов

Question

Я хочу просмотреть кучу текстовых файлов в куче папок.Я бы хотел построчно просматривать каждый файл и делать некоторую базовую статистику, такую ​​как получение метки времени и подсчет повторяющихся значений.Есть ли какой-либо инструмент или решение для сценариев, которое кто-то мог бы порекомендовать для этого?

Другая возможность - иметь сценарий / инструмент, который мог бы просто анализировать эти файлы и добавлять их в базу данных, такую ​​как sqlite или access, для легкой фильтрации..

До сих пор я пытался использовать AIR, но похоже, что для обработки может быть слишком много данных, и он зависает, но это может быть из-за неэффективной фильтрации.

Answer 1

Я использовал QuickMacros для таких вещей.Он может выполнять практически любые операции с текстовым файлом (некоторые недопустимы в 7 состояниях), а также подключаться к базам данных и выполнять задачи sql, такие как создание и изменение таблиц и т. Д.

Я обычно использовал его для извлечения данных, их анализа,а затем загрузить его в другую базу данных.Особенно полезно с запланированными задачами.

Вот сайт

Answer 2

Я рекомендую Perl и CPAN