В SQL вы можете выполнить MERGE операцию с таблицей и вставить / обновить в нее данные. Пример: слияние в снежинку
MERGE
Можем ли мы сделать что-то подобное в pyspark. sql?