Я получаю ошибку ниже при разборе файла XML, который имеет 20 уровней вложенности в кластере (работает на локальной машине)
ОШИБКА CodeGenerator : не удалось скомпилировать:
org.codehaus.janino.JaninoRuntimeException: постоянный пул для класса org.apache.spark.sql.catalyst.expressions.GeneratedClass $ SpecificSafeProjection превысил предел JVM, равный 0xFFFF
Чтобы исправить это, я добавил ниже код
--conf spark.sql.codegen.wholeStage=false
Но я все еще вижу, что код Java генерируется в журналах Spark.Например:
/* 001 */ public java.lang.Object generate(Object[] references) {
Я ожидаю, что ошибка CodeGenerator исчезнет, изменив кодовый код, но это не происходит.Хотя config присутствует в команде spark submit, но я все еще вижу код Java .
В основном моя цель - проанализировать большой файл XML.