Копирование файлов на файлообменнике с проблемой конфигурации Azure Data Factory

Question

Я пытаюсь научиться использовать фабрику данных Azure для копирования данных (коллекции файлов csv в структуре папок) из общего файлового ресурса Azure в экземпляр базы данных Cosmos.

В фабрике данных Azure I 'm создаю операцию «копирование данных» и пытаюсь установить общий ресурс в качестве источника, используя следующий хост:

mystorageaccount.file.core.windows.net\\mystoragefilesharename

При попытке проверить соединение я получаю следующую ошибку:

[{"code":9059,"message":"File path 'E:\\approot\\mscissstorage.file.core.windows.net\\mystoragefilesharename' is not supported. Check the configuration to make sure the path is valid."}]

Должен ли я переместить данные в другой тип хранилища, например, большой двоичный объект, или я не ввел правильный URL-адрес хоста?

Answer 1

Я полагаю, что при создании службы, связанной с файлами, вы можете выбрать общедоступный IR.Если вы выберете общедоступный IR, локальный путь (например, c: \ xxx, D: \ xxx) не будет разрешен, поскольку нами управляет компьютер, на котором выполняется ваше задание, и который не содержит никаких данных о клиентах.Пожалуйста, используйте автономный IR для копирования ваших локальных файлов.

Answer 2

На основании ссылки, опубликованной Николасом Чжаном : https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system#sample-linked-service-and-dataset-definitions и приведенными в ней примерами, я смог решить ее, успешно создав действие копирования. У меня было две ошибки (я настраиваю через интерфейс фабрики данных, а не напрямую через JSON):

1. В пути к хосту правильный должен быть: \\mystorageaccount.file.core.windows.net\mystoragefilesharename\myfolderpath
2. Имя пользователя и пароль должны соответствовать учетной записи хранения, а не учетной записи реального пользователя, которую я ошибочно использовал.

Answer 3

Вам нужно будет указать хост в json-файле, например, «\\ myserver \ share», если вы создаете конвейер непосредственно с помощью JSON, или если вы используете, установите URL-адрес хоста, например, «\ myserver \ share», если вы используетеПользовательский интерфейс для настройки конвейера.

Вот дополнительная информация: https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system#sample-linked-service-and-dataset-definitions