Это вопрос параллелизма и проблем с конкуренцией за ресурсы (например: издержки при столь большом количестве операций ввода-вывода S3)
Существуют ли передовые практики или количество из опыта для максимального числа кластеров r4.16x с одним узлом для запуска в данный момент времени?
У меня частые требования к обработке 700-дневных исторических данных. Один единственный узел r4.16x используется для обработки данных за один день, и они не зависят друг от друга.
Попробовал около 20 кластеров до даты.
Это вопрос параллельности по сравнению с проблемами конкуренции за ресурсы (например: издержки при столь большом количестве операций ввода-вывода S3)
Существуют ли передовые практики или количество из опыта для максимального числа кластеров r4.16x с одним узлом, запускаемых в данный момент времени?
У меня частые требования к обработке 700-дневных исторических данных. Один единственный узел r4.16x используется для обработки данных за один день, и они не зависят друг от друга.
Попробовал около 20 кластеров до даты.