Управление добавлением файла Azure BlobStorage с помощью ADF - PullRequest
0 голосов
/ 19 января 2020

У меня есть azure конвейер фабрики данных, который сохраняет данные с какой-либо операцией, вызывая Azure поток данных. Здесь имя файла в хранилище больших двоичных объектов должно быть идентификатором выполнения конвейера.

В операции копирования конвейера задано «Поведение копирования», я не могу найти связанную опцию в потоке приемника в потоке данных?

Теперь у меня есть ситуация, когда я собираюсь вызывать один и тот же поток данных azure в одном и том же конвейере более одного раза. И из-за этого мой файл перезаписывается в блоб. Но я хочу добавить новые данные в тот же файл, если он существует.

Пример. Если конвейер запускает идентификатор '9500d37b-70 cc -4dfb-a351-3a0fa2475e32' и поток данных вызывает из этого конвейера вызов 2 раза. В этом случае 9500d37b-70 cc -4dfb-a351-3a0fa2475e32.csv содержит данные только для 2-го azure процесса потока данных.

1 Ответ

0 голосов
/ 20 января 2020

Поток данных не поддерживает copyBehavior . Это означает, что поток данных не поддерживает слияние / добавление файлов. enter image description here

Каждый раз, когда вы вызываете поток данных, он создает новый файл '9500d37b-70 cc -4dfb-a351-3a0fa2475e32.csv' и заменяет существующий ' 9500d37b-70 cc -4dfb-a351-3a0fa2475e32.csv '.

Надеюсь, это поможет.

...