Использование Pyspark как конвертировать текстовый файл в файл CSV - PullRequest
0 голосов
/ 30 мая 2018

Я новый ученик для Pyspark.В моем проекте есть требование прочитать файл JSON со схемой, и мне нужно преобразовать его в файл CSV.

Может кто-нибудь помочь мне выполнить этот запрос с помощью PYspark.

1 Ответ

0 голосов
/ 06 июня 2018

Вы можете загрузить JSON и написать CSV с помощью SparkSession.

spark = SparkSession.builder.master("local").appName("ETL").getOrCreate()
spark.read.json(path-to-txt)
spark.write.csv(path-to-csv)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...