Я создаю простое приложение. В основном у меня будет API, который будет использовать URL для сканирования. Я хочу, чтобы можно было отправлять множество запросов к API одновременно и затем сканировать эти URL.
Я на самом деле не бэкэнд-эксперт, но этот личный проект разрабатывается, чтобы я мог больше узнать о различных технологиях. Насколько я понимаю, я хочу использовать очередь заданий.
Я немного понимаю Redis. Я полагаю, что мой API может вызвать Redis store и вставить запись с заданным URL. Другая часть моего приложения может собирать их через определенные промежутки времени и начинать сканирование.
Если сканирование выполнено успешно, запись в Redis будет удалена. Я надеюсь, что мое понимание этого процесса является правильным. В моем приложении также будут пользователи, поэтому мне придется связывать обходы с конкретными пользователями, я думаю, что это не проблема с redis, поскольку я могу создавать ключи типа crawl:userId:url:timestamp, которые должны работать.
Теперь я также наткнулсяна программное обеспечение RabbitMQ. Я хочу решить, куда я должен инвестировать свое время. Мой вариант использования кажется довольно простым, и использование моего приложения redis-cli похоже на путь. Я буду использовать Javascript для моего приложения. RabbitMQ выглядит как библиотека с множеством функций, которые я не уверен, что даже буду использовать.