Сохраните и скачайте переменную в сообществе databricks, используя python

Question

Я пытался сохранить, а затем загрузить CSV-файл (или любой другой) в Сообщество Databricks. Я провел много часов, чтобы объединить разные источники. Следующее, мое решение, как это сделать.

Answer 1

Сохранение и чтение файлов в python / databricks

#write a file to DBFS using Python I/O APIs
with open("/dbfs/FileStore/my-stuff/my-file.txt", 'w') as f:
  f.write("Apache Spark is awesome!\n")
  f.write("End of example!")

# read the file
with open("/dbfs/FileStore/my-stuff/my-file.txt", "r") as f_read:
  for line in f_read:
    print(line)

Изменение my-stuff и my-file в соответствии с вашими предпочтениями.

Загрузка сохраненных файлов

1. Открыть в блоках данных "Данные => Добавить данные"
2. Открыть вкладку "DBFS"
3. Выбрать файл, который вы хотите загрузить
4. Отметить путь
5. В вашем текущем URL, а не числе (ID) после ?o=

Пример: https://community.cloud.databricks.com/?o= 1234567891234567 # таблицы / новый / DBFs

Создайте URL для загрузки

Шаблон: https://community.cloud.databricks.com/files/my-stuff/my-file.txt?o=# #####

Замените my-stuff/my-file.txt на путь, который вы получили на шаге 4, но без , ведущий \FileStore.

Замените ###### своим идентификатором (полученный на шаге 5).

Вуаля - ваш файл должен скачать.