Масштабирование узла js-сервера, на котором работает python

Question

Я создал сервер узлов, используя Express, который запускает программу на Python, которая запускается в gpu в фоновом режиме для обработки ввода / запроса. Я могу отобразить вывод в браузере. Как я могу сделать свой сервер узлов доступным для обработки многих одновременных. Должен ли я использовать очередь для обработки запросов? Если да, как мне начать? Мне нужен определенный подход.

Answer 1

Node.js по умолчанию настроен на высокую производительность из-за асинхронного цикла обработки событий.

Однако для многоядерных систем вы можете посмотреть на модуль кластера для масштабирования вашего API: https://nodejs.org/api/cluster.html

Обратите внимание, что ваш сервер Node.js в идеале должен быть без сохранения состояния для масштабируемости.