фабрика данных Azure: как объединить все файлы папки в один файл

Question

Мне нужно создать большой файл, объединяя несколько файлов, разбросанных по нескольким подпапкам, содержащимся в хранилище BLOB-объектов Azure, также необходимо выполнить преобразование, каждый файл содержит массив JSON одного элемента, поэтому итоговый файл,будет содержать массив элементов JSON.

Конечная цель - обработать этот большой файл в задании Hadoop & MapReduce.

Структура исходных файлов похожа на эту:

folder
 - month-01
   - day-01
        - files...

- month-02
    - day-02
        - files...

Answer 1

Я сделал тест на основе ваших описаний, пожалуйста, следуйте моим шагам.

Мои данные симуляции:

test1.json находится впапка: date/day1

test2.json находится в папке: date/day2

Source DataSet, установите для формата файла значение Array of Objects и путь к файлу root path.

Sink DataSet, установите для формата файла значение Array of Objects и укажите путь к файлу в качестве файла, в котором вы хотите сохранить окончательные данные.

СоздатьCopy Activity и установите Copy behavior как Merge Files.

Результат выполнения:

Пункт назначения моего теста по-прежнему - хранилище BLOB-объектов Azure. Чтобы узнать о поддержке Hadoop Azure, перейдите по этой ссылке .Хранение BLOB-объектов.