Сопоставить вложенную JSON в Azure фабрику данных с необработанным объектом - PullRequest
0 голосов
/ 09 апреля 2020

Поскольку ADF (Azure фабрика данных) не может обрабатывать сложные / вложенные JSON объекты, я использую OPEN JSON в SQL для анализа объектов. Но я не могу получить 'raw' JSON от следующего объекта:

{
   "rows":[
      {
         "name":"Name1",
         "attribute1":"attribute1",
         "attribute2":"attribute2"
      },
      {
         "name":"Name2",
         "attribute1":"attribute1",
         "attribute2":"attribute2"
      },
      {
         "name":"Name3",
         "attribute1":"attribute1",
         "attribute2":"attribute2"
      }
   ]
}

Config 1

Когда я использую эту конфигурацию: enter image description here

Я получаю все перечисленные имена

  1. Имя1
  2. Имя2
  3. Имя3

Результат:

enter image description here

Config 2

Когда я использую эту конфигурацию:

enter image description here

Я получаю целые JSON в одной записи:

  1. [{{full JSON}}]

Результат:

enter image description here

Необходимая конфигурация

Но, что я хочу, это результат:

  1. {"name": "Name1", "attribute1": "attribute1", "attribute2": "attribute2}
  2. {" name ":" Name2 "," attribute1 ":" attribute1 "," attribute2 ":" attribute2}
  3. {"name": "Name3", "attribute1": "attribute1", "attribute2": "attribute2}

Результат:

enter image description here

Итак, мне нужна итерация Конфиг 1, с необработанным JSON на строку. Каждый раз, когда я использую $ ['row'] или $ ['row'] [0], кажется, что «забывают» повторять.

Кто-нибудь?

Ответы [ 2 ]

0 голосов
/ 10 апреля 2020

Активное копирование может помочь нам достичь этого.

Например, я копирую B.json fron-контейнер "backup" в другой контейнер BLOB-объекта "testcontainer".

Это мой B.json исходный набор данных:

enter image description here

Источник:

enter image description here

Раковина: enter image description here

Отображение:

enter image description here

Успешно выполнен конвейер:

enter image description here

Проверьте данные в тест-контейнере:

enter image description here

Надеюсь, это поможет.


Обновление:

Копирование вложенного json до SQL.

Источник такой же B.json в BLOB-объекте.

Набор данных приемника:

enter image description here

Раковина:

enter image description here

Отображение:

enter image description here

Рабочий трубопровод:

enter image description here

Проверьте данные в базе данных SQL:

enter image description here

0 голосов
/ 09 апреля 2020

Вы пробовали потоки данных для обработки JSON структур? У нас есть эта функция, встроенная в преобразования потоков данных, такие как производные столбцы, выравнивание и отображение приемников.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...