Мне нужно загружать каждое сообщение в очередь по мере его поступления, но не удалять его из очереди.
Время от времени (интервал времени 15/30 мин или час) сообщения будут проверяться напосмотрите, не были ли они - слишком долго в очереди (сравнение DateTime с переменной maxTimeInQueue в сообщении) - или было найдено совпадение, вставленное в базу данных из другого процесса.
Если выполняется одно из этих условий,сообщение затем будет удалено из исходной очереди и перемещено в следующую очередь / этап процесса.
До сих пор я исследовал RabbitMq / AMQP, AWS-SQS и AWS-MQ.
При тестировании RabbitMQ с использованием узла и rabbot на сервере с другим скриптом у меня возникали проблемы с памятью (появляются сообщения, которые не помещаются в очередь так же быстро, как они генерируются.