Я сталкиваюсь со следующей ошибкой:
Я написал приложение, основанное на потоковой передаче Spark ( Dstream ) для получения сообщений, поступающих из PubSub. К сожалению, я сталкиваюсь с ошибками при выполнении этой работы. На самом деле я использую кластер, состоящий из 4 узлов, чтобы выполнить искровое задание.
После 10 минут работы без какой-либо конкретной ошибки я постоянно получаю следующую ошибку:
ОШИБКА org.apache.spark.streaming.CheckpointWriter:
Не удалось отправить задачу контрольной точки исполнителю пула потоков java.util.concurrent.RejectedExecutionException: Task org.apache.spark.streaming.CheckpointWriter$CheckpointWriteHandler@68395dc9 отклонено
от java.util.concurrent.ThreadPoolExecutor@1a1acc25
[Выполняется, размер пула = 1, активные потоки = 1, задачи в очереди = 1000, выполненные задачи = 412]