Возможно ли иметь больше активных задач, чем количество ядер на исполнителе в Spark-Streaming? - PullRequest
1 голос
/ 04 мая 2020

Более активная задача, чем количество ядер

Мы используем потоковую передачу с искровой структурой в нашем конвейере приема. Мы включили динамическое c свойство выделения в наше потоковое приложение вместе с некоторыми другими настройками. Что я заметил, так это то, что у некоторых исполнителей я вижу гораздо больше активных задач, чем у них количество ядер. Я также приложил скриншот. Это нормально? Мы видим некоторые ошибки OOM на исполнителях и задаемся вопросом, имеет ли симптом какое-то отношение к ошибке OOM. Я также попытался посмотреть на дамп потока для одного из исполнителей, у которого есть этот симптом: Дамп потока для одного из исполнителей

...