Доступ к API из фабрики данных Azure

Question

1. Я хочу создать конвейер ADF, которому требуется доступ к API, и с помощью некоторого параметра фильтра он получит оттуда данные и запишет вывод в формате JSON в DataLake.Как я могу это сделать ??

2. После JSON, доступного в Lake, его необходимо преобразовать в файл CSV.Как это сделать?

Answer 1

Вы можете создать конвейер с операцией копирования из коннектора HTTP в коннектор Datalake.Используйте HTTP в качестве источника копирования для доступа к API (https://docs.microsoft.com/en-us/azure/data-factory/connector-http), укажите формат в наборе данных как JSON. Ссылка https://docs.microsoft.com/en-us/azure/data-factory/supported-file-formats-and-compression-codecs#json-format о том, как определить схему. Используйте соединитель Datalake в качестве приемника копирования, укажите форматв текстовом формате и внесите некоторые изменения, такие как разделитель строк и столбец в соответствии с вашими потребностями.

Answer 2

нижеприведенная работа может удовлетворить ваше требование:

1. Включите Операцию копирования в ADFv2, где исходный набор данных Хранилище данных HTTP иместом назначения является хранилище озера данных Azure , хранилище данных источника HTTP позволяет извлекать данные посредством вызова API, а операция копирования скопирует данные в озеро данных назначения.
2. Цепочка U-SQL активность после операции копирования, когда операция копирования завершится успешно, будет запущен сценарий U-SQL для преобразования файла json в файл CSV.