Spark читает многострочный JSON с дублированной структурой без потери данных - PullRequest
0 голосов
/ 11 декабря 2018

У меня есть вопрос.Есть ли решение, чтобы прочитать этот JSON хорошим способом без потери данных?Таким образом, у нас есть дубликаты в структуре A, и она получает данные только со второго.

{        
"Data":{
        "A":{  
            "B":"005"
        },
        "A":{  
            "B":"005"
    }
  }
}

val df =  spark.read
.option("multiLine","true")
.json("...")

Результат:

+---------+
|     Data|
+---------+
|[, [005]]|
+---------+

Есть ли возможность исправить это?:)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...