Azure Data Factory 2: Как разбить файл на несколько выходных файлов

Question

Я использую Azure фабрику данных и ищу дополнение к операции «Поиск». По сути, я хочу иметь возможность записать одну строку в файл.

Вот настройки:

• Чтение из CSV-файла в хранилище BLOB-объектов с использованием операции поиска
• Соедините выход этого с параметром For Each *
  • в поле For Each, возьмите каждую запись (строку из файла, прочитанного операцией Lookup) и запишите ее в отдельный файл с динамическим именем.

Любые подсказки о том, как сделать sh что?

Answer 1

Поток данных, вероятно, был бы лучше для этого, но для быстрого взлома вы можете сделать следующее, чтобы читать текстовый файл построчно в конвейере:

1. Определите свой источник набор данных для вывода строки в виде одного столбца. Обычно я бы использовал «NoDelimiter» для этого, но это не поддерживается Lookup. В качестве обходного пути определите его с неправильным разделителем столбцов (например, | или \ t для файла CSV). Вы также должны go перейти на вкладку Схема и ОЧИСТИТЬ схему. Это создаст столбец в выходном файле с именем «Prop_0».

2. В операции foreach установите для Items значение «output.value» для Lookup и установите флажок «Sequential».

3. Внутри foreach вы можете использовать item (). Prop_0, чтобы получить текст строки:

4. Насколько я понимаю, создание большого двоичного объекта не поддерживается напрямую конвейерами [отсюда мое предложение выше для изучения потока данных]. Однако это очень просто сделать в приложениях Logi c. Если бы я занимался этой проблемой, я бы создал приложение logi c с триггером HTTP Request Received, затем вызвал его из ADF с веб-операцией и отправил текстовую строку и динамическое c имя файла в полезной нагрузке.