Попытка выполнить около 66 скриптов Python, которые выполняют некоторые задачи манипулирования данными.Три сценария занимают много времени для выполнения, поскольку они понятны по сложности.
Как определить размер требуемого количества очередей и как определить количество рабочих для каждой из этих очередей в Celery?
Мы используем rabbitmq и сельдерей.Есть ли какая-либо связь между очередями и процессорами в AWS?
Удивительно, но кажется, что мы имеем отношение 1: 1.Так как количество ядер и очереди сообщений кажутся одинаковыми.Можем ли мы создать дополнительные очереди во время выполнения непосредственно перед выполнением этих сценариев, а затем отключить их после выполнения сценариев?
Когда мы увеличили количество ядер с 28 до 48, очереди также увеличились автоматически.
Любое предложение о том, как мне смотреть на это решение, будет полезно.Я бы хотел сократить время исполнения хотя бы вдвое.В настоящее время занимает 5 часов.