Я пытаюсь прочитать несколько файлов с помощью Spark
Файлы являются файлами avro и хранятся в корзине Minio с именем datalake
Я использую:
Spark 2.2.1 скомпилирован без hadoop
Minio (последний мини-док / мини-докер)
2 пакета: com.databricks: spark-avro_2.11: 4.0.0 и org.apache.hadoop: hadoop-aws: 2.8.3
Я сейчас тестирую с pyspark:
PYSPARK_PYTHON=python3 /usr/local/spark/pyspark --packages com.databricks:spark-avro_2.11:4.0.0,org.apache.hadoop:hadoop-aws:2.8.3
Инициирование соединения с Minio:
AWS_ID='localKey'
AWS_KEY='localSecret'
sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", AWS_ID)
sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_KEY)
sc._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "http://127.0.0.1:9000")
Когда файлы хранятся непосредственно в корне буфера, я могу использовать подстановочные знаки, например:
DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random-random_table+0+000000001*.avro")
результат в порядке:
DF_RANDOM.show()
+-----+-------------------+---+-------------+
|index| A| B| timestamp|
+-----+-------------------+---+-------------+
| 12| 0.5680445610939323| 1|1530017325000|
| 13| 0.925596638292661| 5|1530017325000|
| 14|0.07103605819788694| 4|1530017325000|
| 15|0.08712929970154071| 7|1530017325000|
+-----+-------------------+---+-------------+
Однако, если файлы хранятся в подпапке:
DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random/random-random_table+0+000000001*.avro")
Произошла ошибка:
Py4JJavaError: An error occurred while calling o111.load. : java.nio.file.AccessDeniedException: s3a://datalake/random: getFileStatus on s3a://datalake/random: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: null), S3 Extended Request ID: null
Я не понимаю, почему?
Подпапки создаются коннектором kafka
Обратите внимание, что если я не использую символы подстановки, я могу получить доступ к файлам, хранящимся в этой подпапке, например:
DF_RANDOM = spark.read.format("com.databricks.spark.avro").load("s3a://datalake/random/random-random_table+0+0000000012.avro")
Есть ли политика или доступ к настройке?
Инструкция spark.read выглядит как s3: // datalake / random как файл, но это папка для просмотра
Есть идеи?
В любом случае, спасибо