Перемещение очереди с большой задержкой из beanstalkd в AWS

Question

Сейчас я перемещаю очередь заданий с локального сервера beanstalkd на Amazon SQS.Но проблема в том, что SQS может иметь только небольшую задержку (15 мин.) Для задания.

В моем приложении есть тысячи сделок, и я использую beanstalkd для истечения срока действия сделок (т. Е. Вызываю api для обновлениясостояние сделки завершено / не выполнено), когда наступит время истечения срока действия.

Есть ли какой-нибудь сервис / хакерский способ, которым я мог бы воспользоваться для этого варианта использования?

Спасибо

Answer 1

Я бы просто прикрепил данные для события с большой задержкой в ​​базе данных и запускал cronjob каждые ~ 10-15 минут, чтобы засосать группу предстоящих заданий и записывать в SQS, прежде чем удалять из базы данных.,Есть некоторые вещи, о которых нужно подумать, с точки зрения того, сколько их может прибыть за один раз, и попытаться избежать чтения одних и тех же заданий дважды, а затем снова вставить их в SQS.

Хотя базы данных не годятся для очередей,это в основном проблема с высокой интерактивностью и быстрым оборотом.Я бы классифицировал ваши проблемы как вещи, к которым можно вернуться через несколько недель или более.

Вы можете даже бросить обычное сообщение в очереди, чтобы пойти и получить следующий пакет предстоящих заданий.