Если вы создаете крупномасштабный искатель, вы почти наверняка захотите использовать что-то вроде очереди сообщений AMQP, скорее всего RabbitMQ. RabbitMQ (и многие другие подобные MQ) будут выполнять более 100 000 транзакций в секунду при обычной установке. Я использую это в моей собственной установке паука / гусеницы, и это работает как шарм. Конечно, намного проще, чем создавать что-то похожее с нуля.