Мониторинг для Huey (очередь Redis, время в очереди и количество рабочих) - PullRequest
0 голосов
/ 06 сентября 2018

Выключил сельдерей для Хьюи, и я люблю все об этом :)

У Celery есть одна вещь, по которой я скучаю - это инструмент для мониторинга цветов. Существуют ли какие-либо инструменты мониторинга для Huey?

Нам нужно отследить количество задач в очереди на повторное выполнение, общее время, в течение которого задача помещена в очередь до того, как ее заберет рабочий, и сколько рабочих работает.

Есть ли какие-нибудь крючки Хьюи, которые могли бы помочь с этим?

Я просматривал события Хьюи, но, похоже, они все запускаются только после того, как потребитель выбрал задачу.

Мой план сейчас:

  1. Передайте метку времени задаче в качестве аргумента, когда она ставится в очередь, и затем я могу сравнить ее с меткой времени, как только работник извлечет ее из очереди. Это даст время в очереди.

  2. Я могу создать службу, которая вызывает LLEN в очереди Redis Huey для отслеживания заданий.

  3. Я не уверен, что лучший способ получить количество рабочих. В идеале мы хотим увеличить количество экземпляров с работниками Huey, если наша очередь задач достигает определенной длины.

У кого-нибудь есть опыт мониторинга Хьюи? Что-то мне не хватает в документации, которая могла бы помочь этому процессу?

...