Вызов API REST в Python после определенного времени c в Python

Question

Я хочу вызвать REST Api после указанного интервала с задержкой в ​​Python. Как мне этого добиться?

Гарантии

1. Должен масштабироваться горизонтально
2. Должен быть в состоянии обрабатывать большое количество запросов в секунду
3. Меньшая задержка
4. Должно быть легким и не ресурсоемким (не Kafka)

Точный вариант использования

Я хочу объединить некоторые данные в хранилище, после чего я хочу вызвать API, который возьмет эти агрегированные данные и проведет анализ поверх этого. Я хочу, чтобы данные были удалены после анализа.

Answer 1

Я думаю Redis соответствует вашему описанию.

Для сохранения отложенных задач

• У вас может быть очередь с задержкой Redis, где вы может сделать sh ваши отложенные задачи.
• Запустить task_runner, который может взять завершенные задачи из очереди и вызвать ваш API.

Для объединения ваших данных

Вы можете объединить свои данные в структурах данных Redis List, используя некоторые ключи.

Гарантии, предоставляемые Redis

1. Это база данных ключ-значение в памяти, поэтому она быстрая.
2. Она поточно-ориентированная и может работать в режиме кластера.
3. Она легкая и есть клиенты для всех основных языков. .
4. У вас могут быть разные очереди в зависимости от приоритетов.

Ссылки

• Redis Delayed Tasks
• Реализация rpqueue в Python over Redis