Какой самый эффективный способ Python для непрерывного сравнения и объединения файлов в цикле?
Сценарий: 2 файла журнала Apache (access.log и error.log (mod_rewrite)) записываются в непрерывно. Они оба содержат данные, которые мне нужно сопоставить, что я могу сделать с помощью Apache threadid, который уникален для каждого запроса и находится в обоих файлах.
Пример:
File1.log
data1 data2 THREAD-ID1 data3
data1 data2 THREAD-ID2 data3
file2.log
dataA dataB THREAD-ID1 dataC
dataA dataB THREAD-ID2 dataC
Мой желаемый файл результатов - file3.log
TREADID1 data1 data2 data3 dataA dataB dataC
TREADID2 data1 data2 data3 dataA dataB dataC
Как файл1, так и файл2 постоянно записываются, поэтому цикл оценки некоторого вида (и который знает о последнем обработанном THREADID) был бы чрезвычайно полезен. Python - мой любимый язык, но я открыт для других решений. Я рассмотрел пользовательский модуль Apache, но мне не очень удобно в C / Perl.
Заранее спасибо.