org.apache.spark.util.SparkUncaughtExceptionHandler - PullRequest
Новая
       15

org.apache.spark.util.SparkUncaughtExceptionHandler

1 голос
/ 10 октября 2019

Я получаю следующую ошибку на исполнителях при выполнении моей работы с искрой. Я читаю данные из базы данных. Данные имеют строку в UTF8

Iterator<Row> t.next().getString(row.fieldIndex("short_name"));

ERROR org.apache.spark.util.SparkUncaughtExceptionHandler  - Uncaught exception in thread Thread[Executor task launch worker for task 359,5,main]
java.lang.OutOfMemoryError: Java heap space
    at org.apache.spark.unsafe.types.UTF8String.fromAddress(UTF8String.java:135)
    at org.apache.spark.sql.catalyst.expressions.UnsafeRow.getUTF8String(UnsafeRow.java:419)
    at org.apache.spark.sql.execution.columnar.STRING$.getField(ColumnType.scala:452)
    at org.apache.spark.sql.execution.columnar.STRING$.getField(ColumnType.scala:424)
    at org.apache.spark.sql.execution.columnar.compression.RunLengthEncoding$Encoder.gatherCompressibilityStats(compressionSchemes.scala:194)
    at org.apache.spark.sql.execution.columnar.compression.CompressibleColumnBuilder$$anonfun$gatherCompressibilityStats$1.apply(CompressibleColumnBuilder.scala:74)
    at org.apache.spark.sql.execution.columnar.compression.CompressibleColumnBuilder$$anonfun$gatherCompressibilityStats$1.apply(CompressibleColumnBuilder.scala:74)
    at scala.collection.immutable.List.foreach(List.scala:392)
    at org.apache.spark.sql.execution.columnar.compression.CompressibleColumnBuilder$class.gatherCompressibilityStats(CompressibleColumnBuilder.scala:74)

Я обрабатываю 100 ГБ данных с 10 исполнителями 14G. Я начал с исполнителей 12G и получаю ту же ошибку даже с 14G и служебной памятью 3G.

...