где DataFrameWriter.bucketBy () хранит данные?

Question

Я пытаюсь использовать метод DataFrameWriter.bucketBy () для формирования вывода по заданным столбцам. Но где именно будут храниться выходные данные?

хранится ли он в памяти или его можно сохранить в файловой системе?

Код:

>>> (df.write.format('parquet')  
...     .bucketBy(100, 'year', 'month')
...     .mode("overwrite")
...     .saveAsTable('bucketed_table'))

Answer 1

saveAsTable всегда будет хранить данные в HDFS как Таблица.