def nameCleansing(dataset):
dataset=dataset.withColumn("first_name", initcap(col("first_name")))
dataset=dataset.withColumn("last_name", initcap(col("last_name")))
dataset=dataset.withColumn("Full_Name", concat_ws('||',"first_name","last_name"))
return dataset
Я хочу провести модульное тестирование, используя 'Mock', 'Patch' в python или pyspark вышеуказанного кода. Здесь 'набор данных' будет отправлен в виде фрейма данных.
Кто-нибудь может мне помочь?