Запись DataFrame из Azure блокнота данных в Azure DataLake Gen2 Tables

Question

Я создал DataFrame, который я хотел бы написать / экспортировать рядом с моим Azure DataLake Gen2 в таблицах (для этого нужно создать новую таблицу).

В будущем мне также понадобится чтобы обновить эту таблицу Azure DL Gen2 с новыми фреймами данных.

В Azure Блок данных Я создал соединение Azure Блок данных -> Azure DataLake, чтобы увидеть мои мои файлы:

Спасибо за помощь, как написать его в spark / pyspark.

Спасибо!

Answer 1

Шаги для записи кадра данных из Azure Блокнот данных в Azure Озеро данных Gen2:

Шаг 1: Доступ напрямую с помощью ключа доступа к учетной записи хранения

Step2: Использование DBUTILS для перечисления файлов в учетной записи хранения

Шаг 3: Используйте предварительно установленную точку монтирования DBFS для чтения данных и создания фрейма данных.

Шаг 4: Запись данных в Azure Data Lake Gen2 account

Считайте файл csv авиакомпании и запишите выходные данные в формате паркета для простого запроса

Подробнее см. " Учебное пособие: Azure Хранилище озера данных Gen2, Azure Databricks & Spark ".

Надеюсь это поможет. Дайте нам знать, если у вас есть какие-либо дополнительные вопросы.

Answer 2

Я бы предложил вместо записи данных в формате паркета, go для формата Delta, который внутренне использует формат Parquet, но предоставляет другие функции, такие как транзакция ACID. Синтаксис будет

df.write.format("delta").save(path)