Как извлечь данные, вложенные json в dataframe, используя pyspark? - PullRequest
0 голосов
/ 03 апреля 2019

У меня есть вложенный файл Json, и мне нужно проанализировать данные в каждом столбце.Схема моих данных: https://i.stack.imgur.com/35kIn.png

Теперь, как извлечь все данные в json с помощью отдельного столбца, такого как companynumb, drugadministrationroute, drugauthorizationnumb, drugbatchnumb, medicinalproduct, application_number, brand_name, generic_name, Manufacturer_name, реакции, receivetdateate, полученный, серьезный

Я пытался использовать wholeTextFiles, multiLine, expr, withColumn.Но я не могу добиться, чтобы извлечь все поля.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...