Как записать спарк. sql .dataframe в корзину S3 в блоках данных? - PullRequest
Новая
       15

Как записать спарк. sql .dataframe в корзину S3 в блоках данных?

0 голосов
/ 26 марта 2020

Я использую блоки данных и читаю файл .csv из корзины. 

MOUNT_NAME = "myBucket/"
ALL_FILE_NAMES = [i.name for i in dbutils.fs.ls("/mnt/%s/" % MOUNT_NAME)] \
dfAll = spark.read.format('csv').option("header", "true").schema(schema).load(["/mnt/%s/%s" % (MOUNT_NAME, FILENAME) for FILENAME in ALL_FILE_NAMES])

Я хотел бы одновременно написать там таблицу. 

myTable.write.format('com.databricks.spark.csv').save('myBucket/')

1 Ответ

1 голос
/ 27 марта 2020

В следующем фрагменте показано, как сохранить кадр данных в виде одного файла CSV в DBFS и S3. 

myTable.write.save(“s3n://my-bucket/my_path/”, format=”csv”)

ИЛИ 

# DBFS (CSV)
df.write.save('/FileStore/parquet/game_stats.csv', format='csv')

# S3 (CSV)
df.coalesce(1).write.format("com.databricks.spark.csv")
   .option("header", "true").save("s3a://my_bucket/game_sstats.csv")
...