Как выделить 16 ядер и 64 ГБ ОЗУ в локальном режиме spark 2.0.2? - PullRequest
0 голосов
/ 12 ноября 2018

Я новичок в использовании spark и пытаюсь вычислить огромные данные и отправить их в целевую базу данных. Размер файла данных составляет около 3 ГБ, и я доступен на сервере «1 процессор, физические 16 ядер (32 логических ядра), 64 ГБ ОЗУ.»

Чтобы вычислить мои данные и передать их в целевую БД, я касаюсь spark-env.sh в папке conf и добавляю две строки "spark_executor_memory = 4g spark_driver_memory 4g" а также я планирую использовать целые ядра. (т.е.) локальный [*] в моем коде модели, но интересно, какое ядро, между физическим и логическим, близко к искре

Перед этим я упаковал свой логический файл, содержащий ".jars". Я отправляю свой jar-файл несколько раз, но он не работает, и я замечаю, что есть ошибки первый "GC overhead Limit" -> не знаю, почему он подписывает Второй «heartBeatResponse (false)» -> это происходит при перетасовке groupBy или передающем сервере БД Я все еще путаюсь, как настроить искру в момент локального режима. Действительно надеется, что кто-нибудь даст решение, чтобы разобраться в этом.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...