Поиск уникального имени изображения из столбца изображения с использованием Pyspark или SQL - PullRequest
Новая
       36

Поиск уникального имени изображения из столбца изображения с использованием Pyspark или SQL

0 голосов
/ 28 июня 2019

У меня есть набор данных, который выглядит следующим образом: 

key|StateName_13|lon|lat|col5_13|col6_13|col7_13|ImageName|elevation_13|Counter_13
P00005K9XESU|FL|-80.854196|26.712385|128402000128038||183.30198669433594|USGS_NED_13_n27w081_IMG.img|3.7742109298706055|1
P00005KC31Y7|FL|-80.854196|26.712385|128402000128038||174.34959411621094|USGS_NED_13_n27w082_IMG.img|3.553356885910034|1
P00005KC320M|FL|-80.846966|26.713182|128402000100953||520.3673706054688|USGS_NED_13_n27w081_IMG.img|2.2236201763153076|1
P00005KC320M|FL|-80.84617434521485|26.713200344482424|128402000100953||520.3673706054688|USGS_NED_13_n27w081_IMG.img|2.7960102558135986|2
P00005KC320M|FL|-80.84538|26.713219|128402000100953||520.3673706054688|USGS_NED_13_n27w081_IMG.img|1.7564013004302979|3
P00005KC31Y6|FL|-80.854155|26.712083|128402000128038||169.80172729492188|USGS_NED_13_n27w081_IMG.img|3.2237753868103027|1
P00005KATEL2|FL|-80.861664|26.703649|128402000122910||38.789894104003906|USGS_NED_13_n27w081_IMG.img|3.235154628753662|1

В этом наборе данных я хочу найти дубликаты lon, lat и хочу имена изображений, соответствующие этим lon и lat.

Вывод должен выглядеть следующим образом: 

lon|lat|ImageName
-80.854196|26.712385|USGS_NED_13_n27w081_IMG.img,USGS_NED_13_n27w082_IMG.img

Поскольку строки 1 и 2 имеют одинаковые значения lon и lat, но разные имена изображений.Любой код pyspark или SQL-запрос работает.

1 Ответ

1 голос
/ 28 июня 2019

Используя комментарий @giser_yugang, мы можем сделать что-то вроде этого: 

from pyspark.sql import functions as F

df = df.groupby(
    'lon',
    'lat'
).agg(
    F.collect_set('ImageName').alias("ImageNames")
).where(
    F.size("ImageNames")>1
)

df.show(truncate=False)
+----------+---------+----------------------------------------------------------+
|lon       |lat      |ImageNames                                                |
+----------+---------+----------------------------------------------------------+
|-80.854196|26.712385|[USGS_NED_13_n27w081_IMG.img, USGS_NED_13_n27w082_IMG.img]|
+----------+---------+----------------------------------------------------------+

Если вам нужно записать его в формате csv, так как формат не поддерживает ArrayType, тогда вы можете использовать concat_ws

df = df.withColumn(
    "ImageNames",
    F.concat_ws(
        ", "
        "ImageNames"
    )
)

df.show()
+----------+---------+--------------------------------------------------------+ 
|lon       |lat      |ImageNames                                              |
+----------+---------+--------------------------------------------------------+
|-80.854196|26.712385|USGS_NED_13_n27w081_IMG.img, USGS_NED_13_n27w082_IMG.img|
+----------+---------+--------------------------------------------------------+
...