Сколько всего виртуальных ядер требуется для обработки 100 ГБ данных в спарк

Question

Например, если я выберу 16 vcore с 10 рабочими узлами, то есть 16-1 (одно ядро ​​для хранения демонов hadoop) * 10 (рабочие узлы) = 150 vcores (всего). Можно ли с уверенностью сказать, что для обработки 100 ГБ данных требуется 150 виртуальных ядер? или есть какие-либо вычисления, которые я должен рассмотреть, прежде чем выбрать vcore?

Answer 1

Количество ядер в каждом узле: - Правило большого пальца - использовать ядро ​​для каждой задачи. Если задачи не так уж тяжелы, мы можем выделить 0,75 ядра на задачу. Скажем, если машина имеет 16 ядер, мы можем выполнить не более 16 + (.25 из 16) = 20 задач; 0,25 из 16 добавлено с предположением, что 0,75 на ядро ​​привыкает.

Возможно, эта ссылка поможет вам лучше: https://data -flair.training / форум / тема / Hadoop-кластера аппаратно-планирования и инициализация /