Как получить словарь подсчета слов для каждой строки в Pyspark?

Question

У меня есть фрейм данных, который выглядит следующим образом:

И я хотел бы создать новый столбец «Количество слов», чтобы для каждой строки (комментария) я было бы что-то вроде этого:

word_counts: {most: 1, of:1, us:1, have:1}