Мы запускаем приложение Spark в кластере Amazon EMR. Наш код принимает данные JSON, преобразует их в кадры данных, выполняет для них преобразования Spark SQL, а затем записывает полученные кадры данных в CSV-файлы (по крайней мере, пытается). Однако при выполнении кода в кластере EMR мы получаем следующую ошибку:
ERROR AsyncEventQueue: Listener EventLoggingListener threw an exception
com.fasterxml.jackson.databind.JsonMappingException: Infinite recursion
(StackOverflowError) (through reference chain:
scala.collection.convert.IterableWrapper[0]->org.apache.spark.sql.execution.SparkPlanInfo["children"]->scala.collection.convert.IterableWrapper[0]->
... и т.д.
Кто-нибудь может нам помочь?
Заранее большое спасибо.