SQL запросов и фреймов данных с использованием Spark / java - PullRequest
Новая
       51

SQL запросов и фреймов данных с использованием Spark / java

2 голосов
/ 13 июля 2020

Я новичок в искре, и я застрял в том, как сделать запрос sql с использованием фрейма данных.

У меня есть два следующих фрейма данных. 

dataframe_1
+-----------------+-----------------+----------------------+---------------------+
|id               |geometry_tyme    |geometry              |rayon                |
+-----------------+-----------------+----------------------+---------------------+
|50               |Polygon          |[00 00 00 00 01 0...] |200                  |
|54               |Point            |[00 00 00 00 01 0.. ] |320179               |
+-----------------+-----------------+----------------------+---------------------+
dataframe_2
+-----------------+-----------------+----------------------+
|id2              |long             |lat                   |               
+-----------------+-----------------+----------------------+
|[70,50,600,]     | -9.6198783      |44.5942549            |
|[20,140,39,]     |-6.6198783       |44.5942549            |
+-----------------+-----------------+----------------------+

Я хочу выполните следующий запрос. 

"SELECT dataframe_1.* FROM dataframe_1 WHERE dataframe_1.id IN ("
                            + id2
                            + ") AND ((dataframe_1.geometry_tyme='Polygon' AND (ST_WITHIN(ST_GeomFromText(CONCAT('POINT(',"
                            + long
                            + ",' ',"
                            + lat
                            + ",')'),4326),dataframe_1.geometry))) OR ( (dataframe_1.geometry_tyme='LineString' OR dataframe_1.geomType='Point') AND     ST_Intersects(ST_buffer(dataframe_1.geom,(dataframe_1.rayon/100000)),ST_GeomFromText(CONCAT('POINT(',"
                            + long
                            + ",' ',"
                            + lat
                            + ",')'),4326)))) "

Я действительно застрял, мне следует объединить два фрейма данных или что? Я попытался соединить два фрейма данных с id и idZone следующим образом: 

     dataframe_2.select(explode(col("id2").as ("id2"))).join(dataframe_1,col("id2").equalTo(dataframe_1.col("id")));

, но мне кажется, что объединение - неправильный выбор.

Мне нужна ваша помощь.

Спасибо

1 Ответ

1 голос
/ 13 июля 2020

1. создайте временные просмотры из ваших фреймов данных. 

dataframe_1.createOrReplaceTempView("dataframe_1")
dataframe_2.createOrReplaceTempViews("dataframe_2")

2. Запустите SQL как final_df = spark.sql("your SQL here")

...