Сохранение кадра данных в виде файла csv (обработанного в блоках данных) и загрузка его в хранилище BLOB-объектов Azure datalake

Question

У меня был CSV-файл, сохраненный в хранилище данных Azure, которое я импортировал в блоки данных путем монтирования учетной записи набора данных в моем кластере блоков данных. После выполнения предварительной обработки я хотел сохранить CSV в той же учетной записи datalakegen2 (blobstorage).помощь по этому вопросу приветствуется. Спасибо.

Answer 1

Просто напишите файл в том же смонтированном месте.Смотрите пример здесь: https://docs.databricks.com/spark/latest/data-sources/azure/azure-datalake-gen2.html#example-notebook

df.write.json("abfss://<file_system>@<storage-account-name>.dfs.core.windows.net/iot_devices.json")