Вызов DataFrames внутри SQL-запроса

Question

Есть ли способ включить фреймы данных в SQL-запрос? Я на самом деле пытаюсь разорвать огромный SQL-запрос, поместить несколько фреймов данных и вызвать эти фреймы внутри исходного запроса.

select * from DF так?

Answer 1

вы можете создать Temp View, используя dataframe, и можете использовать его в sql

. Например, у вас есть dataframe df, затем запустите его, чтобы создать временное представление с именем "my_table"

df.createOrReplaceTempView("my_table")

Теперь вы можете запустить запрос поверх этого

df2 = spark.sql("select * from my_table")