как отбросить искаженные записи при загрузке файла XLS в спарк - PullRequest
Новая
       6

как отбросить искаженные записи при загрузке файла XLS в спарк

0 голосов
/ 30 августа 2018

При загрузке CSV-файла, есть возможность удалить неправильно сформированные записи. Можем ли мы сделать то же самое для загрузки файла XLS? Я попытался загрузить файл XLS (размером почти 1T), и он показывает эту ошибку: 

warning: there was one deprecation warning; re-run with -deprecation for details
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@339370e
java.lang.IllegalArgumentException: MALFORMED
  at java.util.zip.ZipCoder.toString(ZipCoder.java:58)
  at java.util.zip.ZipInputStream.readLOC(ZipInputStream.java:300)

Пожалуйста, посоветуйте. Большое спасибо.

...