Попытка прочитать файл XML в блоках данных с помощью pyspark - PullRequest
Новая
       9

Попытка прочитать файл XML в блоках данных с помощью pyspark

0 голосов
/ 29 апреля 2019

Я пытаюсь прочитать xml-файл из amazon s3 на платформе pyspark блоков данных. Но это не в состоянии прочитать это. Вывод ничего не дает, когда я использую метод display (). Хотя я использую библиотеку spark-xml, чтобы прочитать его. Но это мне мало поможет.

Я использовал среду исполнения databricks 5.2 (включает Apache Spark 2.4.0, Scala 2.11). 


df = spark.read \
    .format("xml") \
    .option('rootTag', 'breakfast_menu') \
    .option('rowTag', 'food') \
    .load('s3://*****/***/***/**/sample.xml')
...