Выполнение параллельных заданий на предварительных динамических c искровых кластерах - PullRequest
0 голосов
/ 16 марта 2020

Я новичок в Spark, и у нас есть требование настроить динамический c кластер искр для запуска нескольких заданий. ссылаясь на некоторые статьи, мы можем достичь этого, используя сервис EMR (Amazon). Есть ли какой-то способ настройки, который можно выполнить локально? Как только кластеры Spark будут доступны со службами, запущенными на разных портах на разных серверах, как указать туман для нового кластера искры для каждого задания Заранее спасибо.

1 Ответ

0 голосов
/ 16 марта 2020

Да, вы можете использовать Автономный кластер , который предоставляет Spark, где вы можете настроить Spark Cluster (главные узлы и подчиненные узлы). Есть также docker контейнеры, которые могут быть использованы для этого. Взгляните здесь .

Другие варианты, которые будут приняты и развернуты локально Имеют oop экосистемы, такие как MapR, Hortonworks, Cloudera.

...