Это зависит от целого ряда факторов.
Когда вы говорите один файл Lucene?
Lucene хранит индекс, используя несколько типов файлов, и имеет сегменты, поэтому в любом случае существует более одного файла.
Что и как вы индексируете данные журнала?
Что вы используете для запросов по люценовым индексам, solr ,asticsearch, custom?
Используете ли вы один экземпляр, одну конфигурацию компьютера.
Можете ли вы запустить несколько процессов на отдельных хостах, использовать некоторые для задач поиска и другие для обновления индекса?
Каковы ваши типичные поисковые запросы, оптимизируйте для этих случаев.
Посмотрите на http://elasticsearch.org/ или http://lucene.apache.org/solr/ для параметров распределенного поиска.
У lucene есть опции для запуска в памяти, например, RAMDirectory, который вы можете исследовать.
Будет ли размер однодневного файла проблематичным для администрирования?
Будут ли размеры файлов настолько большими по сравнению с диском, ограничения пропускной способности, что при копировании и перемещении возникают проблемы.