Я пытаюсь загрузить CSV-файл из 250 столбцов с помощью Apache Spark во внешнюю таблицу Hive, и я получаю сообщение об ошибке StackOverflow. Он работает нормально со 150 столбцами и более, чем он генерирует Stackoverflow .. Я запускаю это врежим кластера пряжи .. диагностика: пользовательский класс сгенерировал исключение: java.lang.StackOverflowError
Я попытался увеличить spark.executor.extraJavaOptions, но безуспешно с этим ..
Можете ли вы предложить какие-либодругие параметры jvm, которые необходимо изменить для увеличения размера стека для работы с 250 столбцамисбой при попытке проанализировать объект схемы (массив структурных полей размером 250) .. на scala.util.parsing.combinator.Parsers $ Parser $$ anonfun $ append $ 1.apply (Parsers.scala: 254) на scala.util.parsing.combinator.Parsers $$ anon $ 3.apply (Parsers.scala: 222) в
Есть ли альтернативный способ указать схему длядлинный список полей структуры?