Каково максимальное количество соединений с открытыми сокетами в кластере для максимальной обработки данных?
Определение оптимального количества сокетов будет зависеть от большого числа факторов, многие из которых вы не сможете предсказать ... не говоря уже о количественной оценке.
и как мы можем управлять ими?
Один из способов - создать один сокет между мастером и каждым рабочим и мультиплексировать передачу данных через сокет. Другим может быть наличие пулов сокетов фиксированного или переменного размера.
Я думаю, что ваш лучший подход - экспериментировать с различными подходами и разработать некоторые контрольные показатели, которые позволят вам решить, какие стратегии управления работают лучше всего, и настроить их.
Я также думаю, что вы вряд ли получите четкий ответ на этот вопрос в StackOverflow. Это похоже на исследовательскую проблему , а не на простую проблему программирования / разработки программного обеспечения. Вы можете получить ответ на сайтах StackExchange по математике или информатике. Однако решение, основанное на математике или теории CS, потребует точной (то есть математической!) Постановки задачи. Нечто гораздо более точное / строгое, чем ваша диаграмма.