Каковы ваши требования? Я бы оценил, что 99% людей в SO, которые просят ультрамасштабируемого Lucene, считают, что Solr (или даже из Lucene «из коробки») более чем соответствует их потребностям.
Если вы один из редких людей, у которых тысячи петабайт в секунду запрашивают тысячи запросов, LinkedIn использует решение на основе Lucene + Hadoop ( zoie ) для своих поисков в реальном времени.
Я не уверен, где вы читали, что Hadoop "не подходит для систем реального времени" - несомненно, есть определенные системы, в которых его структура не идеальна, но есть тонны приложений, работающих в режиме реального времени на Hadoop.