Преобразование JSON реляционных данных в реляционные таблицы Hive с использованием spark sql - PullRequest
Новая
       9

Преобразование JSON реляционных данных в реляционные таблицы Hive с использованием spark sql

0 голосов
/ 09 апреля 2020

Я получаю реляционную структуру данных в формате JSON, и мне нужно вставить их в виде нескольких нормализованных таблиц с неповрежденными отношениями. До сих пор я пытался загрузить данные JSON в качестве искровых фреймов данных, а затем вручную разделить их как отношения и загрузить в куст. Но это работает для известной JSON схемы, но как мне go узнать об этом для неизвестной схемы, которая по своей природе является динамической? 1012 *. Вот пример данных и нормализованная структура реляционных таблиц, которые я ищу в Hive 

    {
  "title": {
    "titleid": "222",
    "titlename": "ABCD"
  },
  "customer": {
    "customerDetail": {
      "customerid": 878378743,
      "customerstatus": "ACTIVE",
      "customersystems": {
        "customersystem1": "SYS01",
        "customersystem2": null
      },
      "sysid": null
    },
    "persons": [{
      "personid": "123",
      "personname": "IIISKDJKJSD"
    },
      {
        "personid": "456",
        "personname": "IUDFIDIKJK"
      }]
  }
}

Это нормализованные таблицы, которые должны быть получены из этой структуры, enter image description here

...