Azure logi c apps: Экспорт больших данных из базы данных в файл CSV

Question

Я работаю над Azure Logi c Решением на основе приложений для экспорта данных из базы данных в файл CSV.

До сих пор я мог выполнять следующие действия:

1. Используйте SQL соединитель базы данных и выполните хранимую процедуру для извлечения данных
2. Создайте файл CSV
3. Используйте FTP-соединитель для загрузки файла на FTP-сервер

При таком подходе проблема будет в размере данных. Я пытаюсь выяснить способ (ы) для обработки больших данных экспорта. Вот различные подходы, которые я могу придумать:

Вариант 1: использовать разбиение на страницы в SP и итеративно собирать данные.

Вопрос 1.1: В каждом l oop в Logi c Приложение, будет создано несколько файлов CSV. Как объединить данные каждой итерации в один файл CSV?

Вопрос 1.2: Я думаю об использовании массива переменных для сбора данных каждой итерации, а затем создания файла CSV из массива переменных. Буду ли я сталкиваться с какой-либо проблемой, если размер массива переменных станет слишком большим?

Вариант 2. Где-то я читал, что вы можете преодолеть проблему размера данных с помощью чанкинга.

Вопрос: Я даже не уверен, поддерживает ли коннектор базы данных разбиение на блоки и смогу ли я экспортировать данные в один файл CSV?

Вариант 3: Создать несколько файлов CSV и затем объединить их в один CSV-файл?

Вопрос: Возможно ли это сделать в приложениях Logi c? Или мне нужно будет реализовать функцию Logi c для обработки слияния CSV-файлов?

Answer 1

Трудно сказать разные варианты, не зная объема данных, о которых вы говорите.

1 - Да, вы можете использовать нумерацию страниц, я бы рекомендовал использовать SP на вашем сервере sql для возврата данных, а также размера и номера страницы: https://social.technet.microsoft.com/wiki/contents/articles/40060.sql-pagination-for-bulk-data-transfer-with-logic-apps.aspx

1.1 По умолчанию for-each в LogicApps выполняется параллельно, установите флажок Для каждого параметра и измените элемент управления параллелизмом: https://docs.microsoft.com/sv-se/azure/logic-apps/logic-apps-control-flow-loops#foreach -l oop -последовательный

данные, возвращаемые из SP, могут быть преобразованы в CSV с помощью «создания таблицы CSV» https://docs.microsoft.com/sv-se/azure/logic-apps/logic-apps-perform-data-operations#create -csv-table-action