У меня есть 2 машины с оперативной памятью 32 ГБ и 8 ядрами на каждой машине. Итак, как я могу настроить пряжу с помощью spark и какие свойства я должен использовать для настройки ресурсов в соответствии с нашим набором данных. У меня есть набор данных 8 ГБ, так может кто-нибудь предложить конфигурацию пряжи с искрой в параллельных работах?
Вот конфигурация пряжи:
Я использую hadoop 2.7.3, spark 2.2.0 и ubuntu 16
`yarn scheduler minimum-allocation-mb--2048
yarn scheduler maximum-allocation-mb--5120
yarn nodemanager resource.memory-mb--30720
yarn scheduler minimum-allocation-vcores--1
yarn scheduler maximum-allocation-vcores--6
yarn nodemanager resource.cpu-vcores--6`
Вот конфигурация искры:
spark master master:7077
spark yarn am memory 4g
spark yarn am cores 4
spark yarn am memoryOverhead 412m
spark executor instances 3
spark executor cores 4
spark executor memory 4g
spark yarn executor memoryOverhead 412m
но мой вопрос с оперативной памятью 32 ГБ и 8 ядрами на каждой машине. сколько приложений я могу запустить, является ли этот конф правильным? bcoz только два приложения работают параллельно.