Записать фрейм данных искры из блоков данных в хранилище данных Azure, используя R

Question

Я хочу сохранить / записать / выгрузить фрейм данных spark из блоков данных в папку хранилища отсутствия данных azure, используя R. Я нашел следующий код на python.

spark_df.coalesce(1).write.format("com.databricks.spark.csv").option("header", "true").mode("overwrite").save('...path to azure data lake store folder')

Можете ли вы предложить мне SparkR-эквивалент этого кода?

Answer 1

Это должно быть:

spark_df %>% 
  coalesce(1L) %>%          # Same as coalesce(1).
  write.df(                 # Generic writer, because there is no csv specific one
    "...path to azure...",  # Path as before 
     source = "csv",        # Since 2.0 you don't need com.databricks 
     mode = "overwrite", 
     header = "true"        # All ... are used as options
  )