Можно ли прочитать таблицу блоков данных Azure из фабрики данных Azure?

Question

У меня есть таблица в кластере блоков данных Azure. Я хочу скопировать эти данные в базу данных SQL Azure, чтобы позволить другим пользователям анализировать эти данные из метабазы.

Можно ли получить доступ к таблицам блоков данных через фабрику данных Azure?

Answer 1

Если вы зарегистрируете таблицу в метастаборе кустов Databricks, то ADF сможет читать из нее, используя источник ODBC в ADF. Хотя это потребует IR. В качестве альтернативы вы можете записать таблицу во внешнее хранилище, такое как blob или lake. Затем ADF может прочитать этот файл и отправить его в базу данных sql.

Answer 2

Нет, к сожалению, нет. Таблицы блоков данных обычно являются временными и сохраняются до тех пор, пока выполняется ваша работа / сеанс. Смотрите здесь .

Вы должны сохранить свою таблицу блоков данных в некотором хранилище, чтобы получить к ней доступ. Измените задание на блоки данных, чтобы сбросить таблицу в хранилище BLOB-объектов, поскольку это последнее действие. На следующем шаге вашего задания фабрики данных вы можете затем прочитать выгруженные данные из учетной записи хранения и продолжить обработку.

Другим вариантом может быть дельтабрик данных , хотя я еще не пробовал это ...