Приложения логики - Получить содержимое BLOB-объектов, используя путь

Question

У меня есть управляемое событиями приложение логики (событие BLOB-объекта), которое читает блок-блок по пути и загружает содержимое в Azure Data Lake.Я заметил, что приложение логики не работает с 413 (RequestEntityTooLarge), читающим большой файл (~ 6 ГБ).Я понимаю, что логические приложения имеют ограничение в 1024 МБ - https://docs.microsoft.com/en-us/connectors/azureblob/, но есть ли способ обойти эту ситуацию?Альтернативное решение, над которым я работаю, - это перенести этот шаг в функцию Azure и получить содержимое из большого двоичного объекта.Спасибо за ваши предложения!

Answer 1

Если вы хотите использовать функцию Azure, я бы посоветовал вам взглянуть на эту статью:

• Копирование данных из BLOB-объектов хранилища Azure в Data Lake Store

Существует отдельная версия инструмента AdlCopy, которую вы можете развернуть в своей функции Azure.

Таким образом, ваше логическое приложение будет вызывать эту функцию, которая будет запускать команду дляскопируйте файл из хранилища BLOB-объектов на фабрику озера данных.Я бы предложил вам использовать функцию powershell.

Другой вариант - использовать фабрику данных Azure для копирования файла в озеро данных:

• Копировать данные в Azure или из Azure.Хранилище озера данных с помощью фабрики данных Azure

Вы можете создать задание для копирования файла из хранилища больших двоичных объектов:

• Копирование данных в Azure или из Azure.Хранилище больших двоичных объектов с помощью фабрики данных Azure

Имеется соединитель для запуска фабрики данных из приложения логики, поэтому вам может не потребоваться функция Azure, но, похоже, существуют некоторые ограничения:

• Запуск конвейера фабрики данных Azure из приложения логики с параметром

Answer 2

Для блага других, которые могут искать решение такого рода.В итоге я создал функцию Azure в C #, так как мой дизайн динамически анализирует имя BLOB-объекта и создает структуру ADL на основе имени BLOB-объекта.Для чтения большого двоичного объекта и записи его в ADL с помощью многопоточности я использовал потоковую память по частям для добавления времени функций Azure из 10 минут.

Answer 3

Следует рассмотреть возможность использования соединителя файлов Azure: https://docs.microsoft.com/en-us/connectors/azurefile/

В настоящее время он находится в режиме предварительного просмотра, его преимущество перед Blob заключается в том, что он не имеет ограничения по размеру.Приведенная выше ссылка содержит дополнительную информацию об этом.