чтение файлов из s3 Я хочу прочитать xml файлы, хранящиеся в data / dir1 в s3, и поместить их в dataframe. Мой сценарий pyspark работает в кластере EMR.
Код
df = spark.read.format('com.databricks.spark.xml').options(rowTag='PR').load('s3://data/dir1/*.xml')
Что я хочу сделать, это прочитать все файлы в этом каталоге dir1.
Я получил эту ошибку Ошибка при вызове o165.load.
Заранее спасибо,