У меня есть официантский сервер, на котором размещен API. Размещено как ниже.
from waitress import serve
returnAPI = some_function()
serve(returnAPI, host="0.0.0.0", port=8003)
Код работает нормально, но я подозреваю, что при выполнении нескольких запросов они не параллельны и ставятся в очередь один за другим.
Мне нужно, чтобы он мог обслуживать 1000 рэк / сек. У нас достаточно оборудования для поддержки этого. Просто хочу эффективно использовать оборудование.
1 запрос занимает около 9 мс времени.
Даже когда я создаю 10 запросов в секунду, это занимает 9 мс времени на запрос. Таким образом, есть некоторое количество распараллеливания. Но когда я создаю 100 запросов в секунду, время на запрос начинает увеличиваться в несколько раз, как запросы помещаются в очередь один за другим.
Я также пытался дать сон в течение 1 секунды в коде.
Затем он обслуживает 4 запроса / сек при времени ответа 1 сек / запрос, но когда я увеличиваю количество запросов до 30 / сек, время на запрос начинает сильно увеличиваться.
Может кто-нибудь помочь в этом. Я попытался увеличить параметры "потоков" и "предел подключения" для метода обслуживания официантки, но не помогло. Может кто-нибудь помочь здесь?