если еще с и оператор в pyspark для сравнения двух столбцов dataframe

Question

Я пытаюсь compare two columns кадра данных, но это приводит к ошибке. Код PFB:

if((df3.name==df3.KEY) and (df3.id==df3.seq_id)):
    print("hey")
else:
    print("hey1")

, где df3 - это кадр данных. Выдает ошибку ниже:

raise ValueError("Cannot convert column into bool: please use '&' for 'and', '|' for 'or', "
ValueError: Cannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when building DataFrame boolean expressions.  

Я попробовал несколько решений из SO блога и изменил оператора с and на &, но это не помогло.

Я попытался преобразовать в pandas, а затем выполнить действие, и оно хорошо работает в оболочке, но не работает в IDE:

df4 = df3.toPandas()
if(df4['name'].equals(df4['KEY']) & df4['id'].equals(2)):
    print("hey")
else:
    print("hey1")