Удаление столбцов во вложенной структуре в фрейме данных spark с использованием PySpark (подробности в тексте) - PullRequest
Новая
       66

Удаление столбцов во вложенной структуре в фрейме данных spark с использованием PySpark (подробности в тексте)

1 голос
/ 30 апреля 2020

Я знаю, что задал похожий вопрос здесь , но это было для фильтрации строк. На этот раз я пытаюсь отбросить столбцы. Я пытался реализовать функции высшего порядка, такие как FILTER и другие, какое-то время, но не смог заставить его работать. Я думаю, что мне нужна функция высшего порядка SELECT, но она, кажется, не существует. Спасибо за вашу помощь!

Я использую pyspark и у меня есть объект dataframe df, и вот как выглядит вывод df.printSchema() 

root
 |-- M_MRN: string (nullable = true)
 |-- measurements: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- Observation_ID: string (nullable = true)
 |    |    |-- Observation_Name: string (nullable = true)
 |    |    |-- Observation_Result: string (nullable = true)

I хотел бы сохранить только столбцы «Observation_ID» или «Observation_Result» в «измерениях». Поэтому в настоящее время, когда я запускаю df.select('measurements').take(2), я получаю 

[Row(measurements=[Row(Observation_ID='5', Observation_Name='ABC', Observation_Result='108/72'),
                   Row(Observation_ID='11', Observation_Name='ABC', Observation_Result='70'),
                   Row(Observation_ID='10', Observation_Name='ABC', Observation_Result='73.029'),
                   Row(Observation_ID='14', Observation_Name='XYZ', Observation_Result='23.1')]),
 Row(measurements=[Row(Observation_ID='2', Observation_Name='ZZZ', Observation_Result='3/4'),
                   Row(Observation_ID='5', Observation_Name='ABC', Observation_Result='7')])]

Мне бы хотелось, чтобы после выполнения вышеупомянутой фильтрации и запуска df.select('measurements').take(2) я получил 

[Row(measurements=[Row(Observation_ID='5', Observation_Result='108/72'),
                   Row(Observation_ID='11', Observation_Result='70'),
                   Row(Observation_ID='10', Observation_Result='73.029'),
                   Row(Observation_ID='14', Observation_Result='23.1')]),
 Row(measurements=[Row(Observation_ID='2', Observation_Result='3/4'),
                   Row(Observation_ID='5', Observation_Result='7')])]

Есть ли способ сделать это в pyspark? Спасибо в ожидании вашей помощи!

1 Ответ

1 голос
/ 30 апреля 2020

Вы можете использовать higher order function transform до select необходимые поля и поместить их в struct. 

from pyspark.sql import functions as F
df.withColumn("measurements",F.expr("""transform(measurements\
,x-> struct(x.Observation_ID as Observation_ID,\
             x.Observation_Result as Observation_Result))""")).printSchema()

#root
 #|-- measurements: array (nullable = true)
 #|    |-- element: struct (containsNull = false)
 #|    |    |-- Observation_ID: string (nullable = true)
 #|    |    |-- Observation_Result: string (nullable = true)
...