PySpark не удается импортировать collect_list, функции нет collect_list ПОЧЕМУ?

Question

Я хочу использовать collect_list в:

from pyspark.sql.functions import collect_list

Но пакет функций не имеет collect_list просто _collect_list_doc

Answer 1

Импорт функций из SQL следующим образом:

from pyspark.sql import functions as F

Тогда вы можете использовать F.collect_set ("field_name")