Gradle: java .lang.StackOverflowError при компиляции программы spark- scala - PullRequest
0 голосов
/ 25 февраля 2020

Я столкнулся с этой проблемой, но сообщения об ошибке не было.

Поиск проблемы: я подозревал, что эта проблема связана со схемой, которую я пытался создать для моего фрейма данных, ie: переменная StructType с большим количеством StructField's. После нескольких попыток сократить количество StructField, которое имеет StructType, я обнаружил, что проблема действительно связана с большим количеством StructField , и мне показалось, что максимальное количество StructField, которое он может содержать, варьируется каждый раз, когда я запускал сборку gradle.

Мои попытки решить проблему: я выполнил некоторый поиск, но смог найти решения только для устранения ошибки переполнения стека, которая не была вызвана большим StructType. Я попытался увеличить лимит памяти стека с помощью опций jvm, но это тоже не сработало и сломало мой gradle.

Любая помощь очень ценится!

1 Ответ

0 голосов
/ 28 февраля 2020

Я нашел ответ, в случае, если кто-то еще сталкивается с этой проблемой, вы можете разделить StructType на более мелкие группы, и это будет работать.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...