Сбой задания с ошибкой памяти в pyspark в режиме кластера - PullRequest
0 голосов
/ 18 октября 2019

Я выполняю около 80 запросов, используя spark.sql и createAndReplaceTempView.

Но моя работа не выполняется после 60 завершенных createAndReplaceTempView. Во время трансформации происходит сбой (никаких действий не вызывается).

Я предполагаю, что это не удается при генерации логического или физического планирования.

Есть ли у вас какие-либо предложения для этого.

...