Как разделить значения в разные столбцы в pyspark? - PullRequest
0 голосов
/ 05 мая 2020

У меня есть файл CSV, и когда я загружаю его в блоки данных с помощью Pyspark, он теряет свою структуру. Я попытался разграничить то же самое с помощью pipe и установить header = True, но ничего не вышло. Ниже то, с чем я столкнулся, и это только пример:

Я написал следующий код:

df = spark.read.csv(df_path, header = True, sep = "|")

, и результат:

----------------------------------
region, sub-region, country, owner
----------------------------------
new_jersey, daffodil, USA, Anker
Dubai, Bahamas, UAE, Nikon

Все значения попадают в один столбец и разделяются знаком «,». Как преобразовать то же самое во фрейм структурированных данных?

...