Как экспортировать огромную таблицу из базы данных SQL Azure в CSV с помощью приложений логики

Question

Я работаю над подтверждением концепции Azure Logic Apps.У меня есть таблица с 70 столбцами и 10 миллионами строк.Я использую приложения логики для экспорта данных и загрузки на FTP.

Процесс работает с небольшим набором данных (3000 строк);однако процесс завершается неудачей на всей таблице.

Я получаю сообщение об ошибке ниже:

BadRequest.Http-запрос не выполнен, так как произошла ошибка: «Невозможно записать больше байтов в буфер, чем настроенный максимальный размер буфера: 104857600.»

Шаги приложения логики:

1. Повторение
2. Оператор SELECT - ошибка
3. Создание таблицы CSV
4. Загрузка на FTP

Пожалуйста, сообщите.Я мог бы использовать хранимую процедуру и пакетировать ее в 5000 строк, но я не уверен, как реализовать ее в приложениях логики.

Answer 1

На основании этой документации существует файл с ограничением размера сообщения HTTP в 100 МБ и ограничением размера файла в 50 МБ при обработке файлов FTP. Вы можете использовать chunking для обхода этих ограничений, если разъем поддерживает это.