Имея в виду stackoveflow.com (команда из 2-3 инженеров, создающих проект веб-сайта, предназначенный для масштабирования), имеет смысл тратить усилия на ранних этапах разработки, чтобы построить поиск, основанный на Lucene / Autonomy… в отличие от база данных на основе полнотекстового поиска.
Плюсы / Минусы:
При зрелой реализации Lucene, такой как Nutch или автономия, стоимость перехода на Lucene (что неизбежно) на более позднем этапе незначительна.
В больших объемах добавить дополнительные серверы индекса (скажем, с помощью Nutch) для поддержки растущего поискового индекса довольно просто.
При реализации Lucene мне, скорее всего, понадобится дополнительный сервер для поддержки индекса в памяти (гораздо раньше, в процессе масштабирования).