Я уже ответил на исходный вопрос, но мне кажется, что я добавил, что списки Redis достаточно надежны, и их поддержка модуля Python чрезвычайно проста в использовании для реализации объекта, подобного очереди. Их преимущество заключается в том, что они позволяют масштабироваться как на несколько узлов (по всей сети), так и на несколько процессов.
В основном, чтобы использовать те, которые вы просто выбрали бы ключ (строку) для имени своей очереди, проследите, чтобы ваши продюсеры вставили в него и ваши рабочие (потребители задач) зацикливались на блокировании всплывающих окон из этого ключа.
Все команды Redis BLPOP и BRPOP принимают список ключей (списки / очереди) и необязательное значение времени ожидания. Они возвращают кортеж (ключ, значение) или None (по таймауту). Таким образом, вы можете легко написать систему, управляемую событиями, которая очень похожа на привычную структуру select () (но на гораздо более высоком уровне). Единственное, на что вам нужно обратить внимание - это пропущенные ключи и недопустимые типы ключей (конечно, просто оберните ваши операции с очередями обработчиками исключений). (Если какое-либо другое приложение останавливается на вашем общем сервере Redis, удаляя ключи или заменяя ключи, которые вы использовали в качестве очередей со строковыми / целыми числами или другими типами значений ... ну, у вас есть другая проблема в этой точке). :)
Еще одним преимуществом этой модели является то, что Redis сохраняет свои данные на диск. Таким образом, ваша рабочая очередь может выдержать перезапуски системы, если вы разрешите это.
(Конечно, вы можете реализовать простую очередь в виде таблицы в SQLlite или любой другой системе SQL, если вы действительно хотите это сделать; просто используйте какой-нибудь автоматически увеличивающийся индекс для последовательности и столбец, чтобы пометить каждый элемент как будучи «готовым» (потребленным), но это действительно несколько сложнее, чем использование того, что Redis дает вам «из коробки»).