logstash vs очередь задач для приложения nodejs

Question

У меня есть веб-сервер nodejs, где, по-видимому, существует несколько узких мест, препятствующих его полной пиковой нагрузке.

• регистрация нескольких событий на нашем SQL-сервере
• регистрация несколькихсобытия в наш эластичный кластер

под большой нагрузкой, и SQL, и эластик, похоже, отклоняют мои запросы и / или значительно снижают производительность.Поэтому я решил уменьшить нагрузку на эти БД с помощью Logstash (для гибкого использования) и очереди асинхронных задач (для SQL)

Поскольку я работаю в течение ограниченного времени, мне интересно, могу ли я решитьэти проблемы только с асинхронной очередью задач (например, kue ), где я могу выдвигать как SQL, так и эластичные логи.

Нужно ли мне также реализовать logstash?или асинхронная очередь решает ту же проблему, что и logstash.

Answer 1

Как вы уже упоминали, вы используете Azure, я настоятельно рекомендую использовать их решение для очереди, а также пару функций Azure для обработки чтения из очереди и обработки.

Я развернул свое собственное решение, прежде чем использовать node.js и rabbitmq с работниками узлов для чтения из очереди и записи в эластичный поиск, потому что решение не может попасть в облако.

Он работает и надежен, но требует довольно много настроек и специального кода, что является кошмаром обслуживания. Разорвал это, как только смог.

Преимущества использования службы Azure:

• Требуется очень мало индивидуальных настроек.
• Меньше пользовательского кода === меньше ошибок и обслуживания
• масштабирование не проблема, некоторые крупные компании полагаются на это
• нет звонков в 2 часа ночи, если Azure не работает, они исправят это ... быстро
• намного дешевле, если пропускная способность невелика и постоянна, модель масштабирования намного дешевле и функции Azure идеальны, так как у вас не будет запущенных серверов, которые ничего не делают, когда очередь пуста.

То же самое можно сказать о AWS и Google Cloud.

Answer 2

Вы можете попробовать функцию в очереди *1001* библиотеки Async и попробовать запустить ее на дочернем процессе или, что гораздо лучше, на отдельном сервере в качестве микросервиса для очередей. Таким образом, вы можете переместить нагрузку в другое место, что повысит производительность вашего сервера приложений.