Читать из ADLS gen 2 с помощью SSIS

Question

Кто-нибудь знает, какое соединение и компонент потока данных использовать для ADLS (Azure Data Lake Store) gen2?

Мне удалось использовать коннектор BLOB-объектов в диспетчере соединений и успешно подключиться к ADLS Gen2, но когда я пытаюсь использовать компонент источника BLOB-объектов, я получаю 400 неверных запросов.Работает нормально, если это просто хранилище больших двоичных объектов без HNS.

Компоненты ADLS заявляют, что это только для ADLS 1-го поколения.

Так как читать и записывать в / из ADLS Gen 2?

Answer 1

Я получил следующую информацию: «В настоящее время Gen 2 не поддерживает BLOB API (но он будет работать в ближайшее время) и, следовательно, SSIS не сможет подключиться».

Так что для SSISв настоящее время либо ADLS Gen 1, либо хранилище BLOB-объектов

Answer 2

Я использовал задачу «Сценарий» для записи файлов или объектов System.Object (преобразованных в csv в памяти) в хранилище Azure Gen 2 (иерархическое пространство имен включено) с использованием API Rest.Я делал это в качестве демонстрации, пока не были выпущены компоненты служб SSIS.

Answer 3

Прежде всего, на основе отличной ссылки , предоставленной @ rickvdbosch , похоже, что существует много временных ограничений для хранилища озера данных Azure Gen2 в отношении хранилища больших двоичных объектовAPI.Это означает, что это не ограничение компонента, и, возможно, вам следует подождать, пока он будет интегрирован с SSIS.

Пакет функций Microsoft SQL SERVER для Azure

Если вы имели в виду эти компоненты, когдаВы упомянули, что:

Компоненты ADLS утверждают, что это только для ADLS 1-го поколения.

Затем проигнорируйте эту часть.

Я не совсем уверен, поддерживает ли он Gen2, но я думаю, что вы можете использовать компоненты Azure Data Lake Store, входящие в состав пакета Microsoft SQL SERVER для Azure .Для получения дополнительной информации вы можете обратиться к:

• Хранилище озера данных Azure в SSIS
• Источник хранилища озера данных Azure
• Место назначения хранилища озера данных Azure

Ссылка для скачивания

• Пакет дополнительных компонентов Azure для служб Integration Services (SSIS))

---

Другие методы

Если приведенное выше предложение не сработало, вам следует использовать Azure Data Factory или командную строку Установка AWS CLI и с использованием AzCopy v10