PySpark Удаление столбцов после объединения

Question

У меня есть следующий код:

a = df.alias('a')
b = dfDates.alias('b')
cond = [a.adjTransactionDate == b.TransactionDate, a.GroupByFld == b.GroupByFld]
c= b.join(a, cond, 'left')

c=c.drop('adjTransactionDate','a.GroupByFld')

Я обнаружил, что последняя строка удаляет поле даты 'adjTransaction из набора данных, но GroupBYFld остается.

Если я просто сделаю это:

c=c.drop('adjTransactionDate','GroupByFld')

Затем оба объекта GroupByFld удаляются из набора данных.

Как удалить только объект GroupByFld, принадлежащий источнику A?

Answer 1

Не смог выяснить проблему, но в итоге сделал это вместо:

a = df.alias('a')
b = dfDates.alias('b')
cond = [a.adjTransactionDate == b.TransactionDate, a.GroupByFld == b.GroupByFld]
c= b.join(a, cond, 'left').select(b.TransactionDate, b.GroupByFld,a.Amount)
c.show()