Улей= 8G "
set spark.executor.memory = 32G" set hive.exec.reducers.bytes.per.reducer = 640000000 ";
" установить spark.sql.windowExec.buffer.spill.threshold = 1500000 ";
" set spark.yarn.executor.memoryoverhead = 4096m ";
" set spark.executor.cores = 1 ";
"set spark.rdd.compress = true ";
" set hive.optimize.sort.dynamic.partition = true ";
" set spark.executor.instances = 6 ";
"set spark.yarn.am.memory = 8G";
"set yarn.app.mapreduce.am.resource.mb = 8G";
"установить искру.executor.heartbeatInterval = 240000 ";
запуск sqlString вставляется в tmptable to historyTable:
" вставить в таблицу "+ раздел historyTable +" (found_time) "выбрать * из" + временная таблица +"где found_time не равно null, распространяет rand ()";
myМашина состоит из: 3 узла - Двойной ЦП 128memory
Сценарий запускается в Spark на пряжу, и программа может стабильно работать около 2 минут, а следующее сообщение об ошибке только см .:
ОШИБКА executor.CoarseGrainedExecutorBackend: СРОК ПОЛУЧЕННОГО СИГНАЛА