Преобразовать столбец в нижний регистр с помощью PySpark

Question

Я хочу преобразовать все значения в нижний регистр в столбце «Канал». У меня есть df, который я создал с помощью PySpark в блокноте Jupyter. Я пробовал код из здесь , но получил ошибку. Так что это не дубликат.

Мои данные выглядят так:

id     Channel     Brand
123    Hair        Fashion
124    Nails       Fashion 

И я хочу, чтобы это было следующим:

id     Channel     Brand
123    hair        Fashion
124    nails       Fashion 

Я попробовал следующее:

new_df = df.select(lower(df.Channel)).alias('Channel')

, который преобразует значения в нижние регистры, но я теряю другие столбцы.

Answer 1

Вы можете просто сделать:

new_df = df.withColumn('Channel', lower(df.Channel))

Это сохранит и другие столбцы.