Передача фрейма данных в Pyspark UDF или Pandas UDF

Question

Извините, кто-нибудь знает способ передать фрейм данных в pandas UDF или udf в pyspark

Итак, у меня огромный набор данных. И я пытаюсь сделать следующее

df1 # dataset 1 
df2 # dataset 2
f_a # function takes in a dataframe and gives a columns 
f_b # function takes in a dataframe and gives a columns 
f_c # function takes in a dataframe and gives a columns 

formulas = [f_a,f_b,f_c]
dfs=[df1,df2]

for i in dfs:
    for j in formulas:
         update_func=udf(j,FloatType)
         i=i.withcolumn(j,update_func(i))

Просто ищу умный способ достичь этого