Как разбить строковые данные и загрузить данные в таблицу с помощью PySpark

Question

Сколько всего мероприятий?

Пример данных:

FWD,29052016:09:01,10.56| FWD,29052016:10:53,11.23| FWD,29052016:15:40,23.20

Answer 1

Вам нужно изменить параметр sep (разделитель) и установить его на |:

data = spark.read.csv([DATA_PATH], inferSchema = True, header = True, sep = "|")