преобразовать столбец со значением json во фрейм данных с помощью scala spark

Question

Я нашел несколько полезных ответов, но все они преобразовывали файл сына в df, в моем случае у меня есть файл df со столбцами с сыном в них, например:

s-timestamp : 2019-10-10

content : {"META": {"testA": "1", "TABLENAME": "some_table_name"}, "PINACOLADA": {"sampleID ":" 0 "," itemInserted ":" 2019-10-10 "," sampleType ":" BASE ",}"

Мне нужно нормализовать столбец содержимого, как я могу это сделать.

Answer 1

Добро пожаловать! Существует несколько способов работы со строками JSON в столбцах Spark DF. Вы можете использовать такие функции, как get_json_object для извлечения определенных полей из вашего JSON или from_json для преобразования поля в StructType с заданной схемой. Другой вариант - использовать spark.read.json для анализа и создания отдельного фрейма данных из содержимого столбца. Посмотрите на мое решение здесь и дайте мне знать, если это поможет.