Как использовать переменную вместо имен столбцов при выполнении select в Pyspark / Sparksql

Question

У меня есть переменная с именами столбцов, как показано ниже:

VAR = полное имя, адрес, DOB

Мне нужно передать эту переменную в моем искре sql вместо столбца имена, подобные ниже:

spark.sql("""
           Select
           VAR
           From mytable
           where 1=1
           #some additional filters
           """)

, поэтому он обрабатывается так, как если бы я явно указывал имена столбцов, как показано ниже:

spark.sql("""
           Select
           Fullname
           ,Address
           ,DOB
           From mytable
           where 1=1
           #some additional filters
           """)

как это можно реализовать с помощью pyspark / spark sql

Answer 1

Ниже приведен пример кода в pyspark для того же,

var = 'Fullname,Address,DOB'

query = "SELECT {} FROM From mytable WHERE 1=1 #additional filters".format(var)

spark.sql(query)