Я использую beeQueue для планирования и обработки работы транскодирования видео
Пока все хорошо, но сейчас я сталкиваюсь с проблемой работы с распределенной средой, такой как автоматическое масштабирование amazonслучаи добавления большего количества рабочих для обработки большего количества заданий, ожидающих в очереди. Мы хорошо масштабируемся, но нам нужно внедрить систему, которая является отказоустойчивой, я имею в виду, что случай, когда рабочие обрабатывали работу, завершился, и мыполучить статус задания или события, в этом случае задание, которое выполнялось в этом экземпляре, ушло в черную дыру и не может быть восстановлено и обработано снова.
Что я сделал:
- Я ищу готовое решение, которое работает надежно в распределенной среде.
Спасибо