Как настроить искровой кластер с разными типами рабов

Question

Я довольно новичок, чтобы зажечь. Сейчас я пытаюсь выяснить, возможно ли настроить искровой кластер с различными типами экземпляров ec2. Причина, по которой я хочу это сделать, заключается в том, что у меня есть разные ограничения на разные типы экземпляров ec2 в моей учетной записи aws. Было бы здорово, если бы я мог запускать спарк-задания со всеми моими доступными экземплярами ec2. Я искал (google, stackoverflow и т. Д.), Но кажется, что люди предполагают, что типы ec2 подчиненных узлов всегда одинаковы (хотя я получаю, что узел драйвера может быть другого типа). Пожалуйста, дайте мне знать, если вам нужно больше разъяснений.

Большое спасибо за любые советы!

Answer 1

Я бы связался с AWS и поднял лимиты, чтобы у вас не было этой проблемы.

Проблема, с которой вы столкнетесь, заключается в том, что Hadoop будет предполагать, что все узлы имеют одинаковые доступные ресурсы. Это в первую очередь означает память. Если вы выполняете много заданий, которые требуют много памяти, вы увидите постоянные сбои. В противном случае вам нужно будет настроить hadoop для небольших заданий, которые подойдут для любого узла. Это будет означать, что большие задания никогда не будут выполняться.

Если вы можете выбрать экземпляры с одинаковой памятью, вы сведете к минимуму проблемы.

Если вы не являетесь экспертом по настройке Hadoop (или хотите стать таковым), я бы этого не делал. Оставайтесь с точно таким же типом экземпляра для каждого типа узла.