Разобрать несколько файлов JSON в одном упражнении

Question

Я хотел бы использовать фабрику данных для регулярной загрузки 500000 файлов json из веб-API и сохранения их в контейнере для хранения больших двоичных объектов.Затем мне нужно проанализировать файлы json, чтобы извлечь некоторые значения из каждого файла и сохранить эти значения вместе с идентификатором (частью имени файла) в базе данных.Я могу сделать это с помощью действия ForEach и запустить пользовательское действие для каждого файла, но это очень медленно, поэтому я бы предпочел некоторое пакетное действие, которое могло бы запускать один и тот же код синтаксического анализа для каждого файла.Есть ли способ сделать это?

Answer 1

Если ваши исходные файлы json имеют одинаковую схему, вы можете использовать операцию копирования, которая может анализировать эти файлы за один прогон.Но, если возможно, я бы предложил разделить эти файлы на разные подпапки (например, 1000 файлов в папке), чтобы при каждом запуске копирования было меньше времени и упростило управление.

Более подробная информация приведена в этом документе:https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-overview