В работе Pyspark возможна проблема с ограничением ресурсов - PullRequest
Новая
       46

В работе Pyspark возможна проблема с ограничением ресурсов

0 голосов
/ 06 ноября 2019

Я работаю с клеем в aws. Он в основном запускает код pyspark внутри клея aws. Работа выполняет некоторые подключения etl к нескольким экземплярам ec2. Он работает нормально для меньшего числа экземпляров, но по мере увеличения его до большего числа происходит сбой, и окончательное сообщение журнала ошибок находится ниже. Мне интересно, происходит ли сбой кода из-за проблем с одним из экземпляров или какой-то частью моего кода, или это ограничение ресурсов, вызванное настройками задания по умолчанию для склеивания?

Я обнаружил сообщение о потоке стека, в котором упоминается ошибка SIGNAL TERM, которая предполагает, что проблема может быть связана с памятью или динамическим распределением времени, может ли это быть проблемой, и если да, то какие параметры я могу изменить, чтобы проверить это?

SO Сообщение: Ошибка искры: executor.CoarseGrainedExecutorBackend: СРОК ПОЛУЧЕНИЯ СИГНАЛА

Журнал ошибок: 

2019-11-06 09:21:18,189 INFO  [Executor task launch worker for task 26635] memory.MemoryStore (Logging.scala:logInfo(54)) - Block broadcast_477 stored as values in memory (estimated size 9.1 KB, free 2.8 GB)
2019-11-06 09:21:18,190 INFO  [dispatcher-event-loop-0] executor.CoarseGrainedExecutorBackend (Logging.scala:logInfo(54)) - Got assigned task 26637
2019-11-06 09:21:18,191 INFO  [Executor task launch worker for task 26637] executor.Executor (Logging.scala:logInfo(54)) - Running task 0.0 in stage 477.0 (TID 26637)
2019-11-06 09:21:18,191 INFO  [Executor task launch worker for task 26637] broadcast.TorrentBroadcast (Logging.scala:logInfo(54)) - Started reading broadcast variable 479
2019-11-06 09:21:18,193 INFO  [Executor task launch worker for task 26637] memory.MemoryStore (Logging.scala:logInfo(54)) - Block broadcast_479_piece0 stored as bytes in memory (estimated size 5.1 KB, free 2.8 GB)
2019-11-06 09:21:18,194 INFO  [Executor task launch worker for task 26637] broadcast.TorrentBroadcast (Logging.scala:logInfo(54)) - Reading broadcast variable 479 took 3 ms
2019-11-06 09:21:18,194 INFO  [Executor task launch worker for task 26637] memory.MemoryStore (Logging.scala:logInfo(54)) - Block broadcast_479 stored as values in memory (estimated size 9.1 KB, free 2.8 GB)
2019-11-06 09:21:18,640 INFO  [Executor task launch worker for task 26629] codegen.CodeGenerator (Logging.scala:logInfo(54)) - Code generated in 13.337938 ms
2019-11-06 09:21:18,841 INFO  [Executor task launch worker for task 26629] glue.JDBCRDD (Logging.scala:logInfo(54)) - closed connection
2019-11-06 09:21:18,884 INFO  [Executor task launch worker for task 26629] executor.Executor (Logging.scala:logInfo(54)) - Finished task 0.0 in stage 469.0 (TID 26629). 1366 bytes result sent to driver
2019-11-06 09:21:19,156 INFO  [Executor task launch worker for task 26637] glue.JDBCRDD (Logging.scala:logInfo(54)) - closed connection
2019-11-06 09:21:19,230 INFO  [Executor task launch worker for task 26637] executor.Executor (Logging.scala:logInfo(54)) - Finished task 0.0 in stage 477.0 (TID 26637). 1366 bytes result sent to driver
2019-11-06 09:21:23,308 INFO  [Executor task launch worker for task 26635] glue.JDBCRDD (Logging.scala:logInfo(54)) - closed connection
2019-11-06 09:21:23,790 INFO  [Executor task launch worker for task 26635] executor.Executor (Logging.scala:logInfo(54)) - Finished task 0.0 in stage 475.0 (TID 26635). 1366 bytes result sent to driver
2019-11-06 09:21:23,940 INFO  [Executor task launch worker for task 26624] glue.JDBCRDD (Logging.scala:logInfo(54)) - closed connection
2019-11-06 09:21:24,279 INFO  [Executor task launch worker for task 26624] executor.Executor (Logging.scala:logInfo(54)) - Finished task 0.0 in stage 464.0 (TID 26624). 1366 bytes result sent to driver
2019-11-06 09:22:26,134 ERROR [SIGTERM handler] executor.CoarseGrainedExecutorBackend (SignalUtils.scala:apply$mcZ$sp(43)) - RECEIVED SIGNAL TERM
2019-11-06 09:22:26,139 INFO  [pool-7-thread-1] storage.DiskBlockManager (Logging.scala:logInfo(54)) - Shutdown hook called
2019-11-06 09:22:26,139 INFO  [pool-7-thread-1] util.ShutdownHookManager (Logging.scala:logInfo(54)) - Shutdown hook called
End of LogType:stdout
...