По from pyspark.sql.functions import * вы перезаписываете функцию суммы из стандартной библиотеки Python с помощью функции суммы из модуля pyspark.sql.functions. Чтобы избежать перезаписи, вы можете либо импортировать модуль:
import psypark.sql.functions as f
и ссылаться на две функции сумм как f.sum и sum.
, либо присваивать псевдоним сумме. функция от pyspark.
from pyspark.sql.functions import sum as fsum
Чтобы не вводить две функции сумм в одну и ту же область.