Невозможно прочитать файл json из dbfs, в котором данные повреждены в python spark - PullRequest
0 голосов
/ 11 июня 2019

Я не могу прочитать файлы json из dbfs, который получает поврежденный фрейм данных.

Я пытался

dfx = spark.read.option("multiline","true").json("/FileStore/tables/vv.json")

dfx = spark.read.option("multiline", "true").json("/FileStore/tables/vv.json")

вывод

dfx:pyspark.sql.dataframe.DataFrame = [_corrupt_record: string]
...