RandomAccessFile - хороший вариант. Если вы оставляете заявку, вам нужно будет сохранить место вашего последнего чтения перед уходом, чтобы избежать перечитывания информации.
Файлы журнала, с другой стороны, имеют тенденцию становиться достаточно большими для интенсивного потока событий. Вращающиеся файлы журналов позволят вам немного сместить проблему в сторону именования файлов. Вы можете настроить свою систему для создания одного файла журнала в день, как здесь:
app_access.2011-11-28.log,
app_access.2011-11-29.log,
app_access.2011-11-30.log,
...
Если файлы, которые вы получаете, все еще очень велики, вы можете повернуть их по дате и времени, и у вас также будет час как часть имени файла. Ваши файлы могут затем вращаться, скажем, каждые три часа или даже каждый час. Это даст вам больше файлов журнала для чтения, но они будут меньше, поэтому их легче обрабатывать. Диапазон даты и времени, который вы хотите найти, будет частью имени файла.
Вы также можете поворачивать по размеру файла. Если вы выбираете максимальный размер файла, с которым вы можете иметь дело, вы можете избежать случайного доступа к огромному файлу полностью.