Как читать архив tar.gz из корзины s3, используя Spark Structured Streaming 2.2? - PullRequest
0 голосов
/ 20 января 2019

Архив содержит простые текстовые файлы, но когда я читаю архив с s3 через:

val streamDF = spark.readStream.textFile("s3n://folder/")

все значения в столбце «значения» сжаты

+ --------------------- + | значение | + --------------------- + | RZ mo7 .. |

...