Ошибка при чтении файла Excel 30 МБ с использованием spark crealytics в scala

Question

Я получаю следующую ошибку при выполнении приведенного ниже кода.

Исключение в потоке "main" java .lang.OutOfMemoryError: G C Превышен предел накладных расходов

Мой код

val spark = SparkSession.builder()
    .master("local[*]")
    .appName("Excel file")
    .getOrCreate()


val dfexcel= spark.read.format("com.crealytics.spark.excel")
    .option("useHeader","true")
    .option("inferSchema","true")
    .option("treatEmptyValuesAsNulls", "true")
    .option("addColorColumns", "False")
    .option("location","files/all_stocks_5yr.xlsx")
    .load("files/all_stocks_5yr.xlsx")

Answer 1

Это не имеет никакого отношения к искре, и com.crealytics.spark.excel вы должны увеличить объем памяти кучи с помощью eclipse scala ide, поскольку она работает в локальном режиме.

Например:

Кроме того, я бы рекомендовал использовать последнюю версию Crelylytics API

// https://mvnrepository.com/artifact/com.crealytics/spark-excel
libraryDependencies += "com.crealytics" %% "spark-excel" % "0.13.1"