Я новичок в использовании spark и пытаюсь вычислить огромные данные и отправить их в целевую базу данных.
Размер файла данных составляет около 3 ГБ, и я доступен на сервере
«1 процессор, физические 16 ядер (32 логических ядра), 64 ГБ ОЗУ.»
Чтобы вычислить мои данные и передать их в целевую БД, я касаюсь spark-env.sh в папке conf и добавляю две строки
"spark_executor_memory = 4g spark_driver_memory 4g"
а также я планирую использовать целые ядра. (т.е.) локальный [*] в моем коде модели, но интересно, какое ядро, между физическим и логическим, близко к искре
Перед этим я упаковал свой логический файл, содержащий ".jars".
Я отправляю свой jar-файл несколько раз, но он не работает, и я замечаю, что есть ошибки
первый "GC overhead Limit" -> не знаю, почему он подписывает
Второй «heartBeatResponse (false)» -> это происходит при перетасовке groupBy или передающем сервере БД
Я все еще путаюсь, как настроить искру в момент локального режима.
Действительно надеется, что кто-нибудь даст решение, чтобы разобраться в этом.