Как правило, я помещаю Whoosh в ту же категорию, что и SQLite: отлично для начала работы, замечательно для однопользовательских или действительно небольших приложений, но не подходит для крупномасштабного развертывания.
По моему опыту, чушь примерно на порядок медленнее, чем Solr. Типичный поиск по большому индексу Solr, который у меня есть, занимает около одной сотой секунды; тот же поиск с использованием Whoosh и тех же данных занимает примерно одну десятую секунды.
Вы должны решить, что для вас "достаточно быстро", но я не думаю, что Whoosh - хорошая идея для всего, где вы ожидаете высокой производительности.