Создание одного файла CSV из большого Dataframe в Azure Databricks - PullRequest
0 голосов
/ 05 марта 2019

У меня есть огромный Dataframe, из которого мне нужно сгенерировать один CSV в BLOB-объекте Azure. Я использую блоки данных Azure, поэтому не могу использовать команду объединения HDFS.

Использование Coalesce или Repartition не будетхороший вариант для больших файлов.Как правильно сделать это в Azure Databricks?

...