Это действительно зависит от того, с чем вам удобно работать.
Вы можете выполнить эту задачу с помощью чего угодно, от сценариев (bash, perl, .bat и т. Д.) До скомпилированных программ, которые вы пишете сами для различных продуктов (Sphunk и Q Radar были упомянуты tschaible) или даже чем-то вроде SSIS от Microsoft.
Трудно сказать гораздо больше, пока мы не узнаем, какие платформы / языки / и т. Д. Вы хотели бы использовать.
Скорее всего, вы будете использовать FTP в качестве наименьшего общего знаменателя для извлечения файлов с различных серверов. Может использоваться всеми опциями, которые я упомянул.
Похоже, вы захотите поместить их в какую-либо базу данных, чтобы сделать их доступными для поиска.
Возможно, вы получите лучший ответ, если добавите еще несколько деталей в свой вопрос.
Надеюсь, это поможет.