Исключение в потоке "main" scala.MatchError: Map () (из класса org.apache.spark.sql.catalyst.util.CaseInsensitiveMap) - PullRequest
Новая
       15

Исключение в потоке "main" scala.MatchError: Map () (из класса org.apache.spark.sql.catalyst.util.CaseInsensitiveMap)

0 голосов
/ 02 мая 2019

Я пытаюсь загрузить данные из таблицы Excel в таблицу кустов. Выдает ошибку ниже 

.Map(treatemptyvaluesasnulls -> true, location -> "input", useheader -> true, inferschema -> true, addcolorcolumns -> false, sheetname ->"INPUT") (of class org.apache.spark.sql.catalyst.util.CaseInsensitiveMap)

Используемый код: 

val df = spark.read.format("com.crealytics.spark.excel") 
    .option("location", tname) .option("sheetName", fname) .option("useHeader", "true") 
    .option("treatEmptyValuesAsNulls", "true") .option("inferSchema", "true") 
    .option("addColorColumns", "false") .load() //df.printSchema() //df.show(100) 
df.createOrReplaceTempView(s"""$fname""") 
//val d = hqlContext.sql(s"select * from $fname") 
spark.sql(s"""drop table if exists $tdb.$ttab PURGE""")

Я пробовал с разными зависимостями.

Используемые зависимости:

  • искровым excel_2.11: 0.10.2
  • com.crealytics
  • искровой excel_2.10 0.8.3

Может кто-нибудь помочь?

1 Ответ

1 голос
/ 03 мая 2019

решена проблема:

использовано --packages com.crealytics: spark-excel_2.11: 0.10.2

при работающей искре отправка работала нормально

...