Ранее у меня была проблема с тем, как объединить несколько файлов JSON в один файл,
который я смог решить с помощью ответа на этот вопрос .
Сначала я пытался использовать только некоторые файлы, используя подстановочные знаки в имени файла в разделе подключения входного набора данных. Но когда я удаляю имя файла, теория говорит мне, что все файлы во всех папках будут загружаться рекурсивно, так как я проверял параметр рекурсивного копирования в разделе исходного текста действия копирования.
Проблема в том, что когда я вручную запускаю конвейер после удаления имени файла из ввода набора данных, загружаются только некоторые файлы, и задача успешно завершается, но загружается только около 400+ файлов, каждая папка имеет 1M + файлы, я хочу создать большие csv-файлы, объединив все небольшие JSON-файлы источника (я уже смог создать csv-файл, сопоставив схемы в операции копирования).
