Не удалось выполнить задание My Spark Streaming со следующим исключением
Диагностика: Контейнер работает за пределами физической памяти.Текущее использование: 1,5 ГБ из 1,5 ГБ используемой физической памяти;Используется 3,6 ГБ из 3,1 ГБ виртуальной памяти.Уничтожение контейнера.
Вот моя команда отправки искры
spark2-submit \
--name App name \
--class Class name \
--master yarn \
--deploy-mode cluster \
--queue Queue name \
--num-executors 5 --executor-cores 3 --executor-memory 5G \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.locality.wait=10 \
--conf spark.task.maxFailures=8 \
--conf spark.ui.killEnabled=false \
--conf spark.logConf=true \
--conf spark.yarn.driver.memoryOverhead=512 \
--conf spark.yarn.executor.memoryOverhead=2048 \
--conf spark.yarn.max.executor.failures=40 \
jar path
Я не уверен, что вызвало вышеуказанную проблему.Я что-то упускаю в приведенной выше команде или происходит сбой, так как я не установил - memory-memory в моей команде отправки искры?