Функция не возвращает pyspark DataFrame

Question

Я определил функцию, которая возвращает фрейм данных пересечения всех фреймов данных, заданных в качестве входных данных.Однако, когда я сохраняю выходные данные функции в некоторой переменной, она не сохраняется в переменной.Он отображается как объект нетипового типа

def intersection(list1, intersection_df,i):
    if (i == 1):
        intersection_df = list1[0]
        print(type(intersection_df))
        intersection(list1, intersection_df, i+1)
    elif (i>len(list1)):
        print(type(intersection_df))
        a = spark.createDataFrame(intersection_df.rdd)
        a.show()
        return a
    else:
        intersection_df = intersection_df.alias('intersection_df')
        tb = list1[i-1]
        tb = tb.alias('tb')
        intersection_df = intersection_df.join(tb, intersection_df['value'] == tb['value']).where(col('tb.value').isNotNull()).select(['intersection_df.value'])
        print(type(intersection_df))
        intersection(list1, intersection_df, i+1)

например, если я введу следующие данные,

list1 = [1,2,3,4,5,6,7,8,9,10,11,12,13,14]
list2 = [3,4,5,6,7,8,9,10,11,12,13,14,15,16]
list3 = [6,7,8,9,10,11,12,13,4,16,343]
df1 = spark.createDataFrame(list1, StringType())
df2 = spark.createDataFrame(list2, StringType())
df3 = spark.createDataFrame(list3, StringType())
list4 = [df1,df2,df3]
empty_df = []
intersection_df = intersection(list4, empty_df, 1)

Я ожидаю, что следующий вывод будет сохранен в interesection_df

 +-----+
 |value|
 +-----+
 | 7   |
 | 11  |
 | 8   |
 | 6   |
 | 9   |
 | 10  |
 | 4   |
 | 12  |
 | 13  |
 +-----+

Answer 1

Я думаю, что вы пострадали от проклятия рекурсии.

Проблема:
Вы вызываете intersection рекурсивно, но возвращаетесь только в одном из условий if. Поэтому, когда он возвращает ваш df, ему некуда деваться (напомним: каждый вызов функции создает стек).

Решение:
вернитесь, когда вы позвоните intersection из вашего состояния if и else. Например, return intersection(list1, intersection_df, i+1) в вашем if состоянии.