Я использую pyspark для генерации Association Rules с использованием FP Growth Algorithm в Jupyter Notebook. Я установил память водителя и исполнителя на 40 Гб. У меня работает спарк в режиме клиента. Каждый раз, когда этап «8» и задача «11» терпят неудачу, и это ошибка:
ERROR Executor: Exception in task 11.0 in stage 8.0 (TID 821)
java.lang.StackOverflowError
Мои входные данные имеют размер 1,2 ГБ. Будем благодарны за любые советы о том, как решить эту проблему.