Twisted - это фреймворк для создания сетевых приложений. Это написано в Python . Вы можете использовать это, чтобы написать свой сервер индексирования.
Не зная больше о том, какой сервер вы хотите написать, невозможно сказать больше, но вряд ли вы можете просто расширить существующий веб-сервер с помощью некоторых плагинов.