Есть ли другой способ написания кода в sparkSQL / scala - PullRequest
0 голосов
/ 04 ноября 2019

Как выбрать данные из вложенного JSON, используя фреймы данных в Spark. Из приведенного ниже примера JSON я хотел выбрать данные из массива в массиве.

"xyz01": [

        {
          "@SEGMENT": "1",
          "POS": "00001",
          "MEN": "10.000",
          "xyz05": [
            {            
              "CHL": "DIRECT",
              "BET": "54545"
            },
            {
              "@SEGMENT": "1",
              "CHL": "INDIRECT",
              "TRG": "778787",
             }
            ]
        },
        {
          "@SEGMENT": "1",
          "POS": "00002",
          "MENGE": "4354354",
          "xyz05": [
            {
              "@SEGMENT": "1",
              "ALCKZ": "+",
              "CHL": "DIRECT",
            },
            {
              "@SEGMENT": "1",
              "CHL": "INDIRECT",
              "TRG": "3434343"
            }
          ]
         };      
         ]

Обязательный вывод.

POS CHL

000001 DIRECT

000001 НЕПОСРЕДСТВЕННЫЙ

000002 ПРЯМОЙ

000002 НЕПОСРЕДСТВЕННЫЙ

...