Пытается прочитать файл Excel из Spark (crealytics), но не видит данные - PullRequest
Новая
       162

Пытается прочитать файл Excel из Spark (crealytics), но не видит данные

0 голосов
/ 04 мая 2020

1) Я пытаюсь прочитать первый файл Excel, используя 

val df1 = spark.read.excel(
   dataAddress = dataAdd,
   header = true,
**maxRowsInMemory = 5)**
  .option("ignoreLeadingWhiteSpace", "true")
  .option("ignoreTrailingWhiteSpace", "true")
  .option("inferSchema", "true")
  .load(dataFilePath)

с включенным maxRowInMemory, поэтому он не дает данных, а показывает только схему.

Но, если я удалено maxRowInMemory Я получаю данные.

2) Но с другим файлом Excel, если я удаляю maxRowInMemory, я получаю Невозможно преобразовать строку в Numeri c Ячейка .....

Может кто-нибудь пожалуйста помоги мне в этом.

1 Ответ

0 голосов
/ 04 мая 2020

Попробуйте, проверьте, может ли это работать на вас, 

val df1 = spark.read.format("com.crealytics.spark.excel") \
                    .option("useHeader", "true") \                
                    .option("treatEmptyValuesAsNulls", "true") \  
                    .option("inferSchema", "true") \              
                    .option("addColorColumns", "False") \         
                    .option("maxRowsInMey", 2000) \               
                    .option("sheetName", "Import") \              
                    .load(dataFilePath)

Проверьте версию библиотеки com.crealytics, Новая версия библиотеки com.crealytics:spark-excel_2.11:0.12.5 также работает с нестрочными именами столбцов / заголовков.

...