У меня есть файл CSV, и когда я загружаю его в блоки данных с помощью Pyspark, он теряет свою структуру. Я попытался разграничить то же самое с помощью pipe и установить header = True, но ничего не вышло. Ниже то, с чем я столкнулся, и это только пример:
Я написал следующий код:
df = spark.read.csv(df_path, header = True, sep = "|")
, и результат:
----------------------------------
region, sub-region, country, owner
----------------------------------
new_jersey, daffodil, USA, Anker
Dubai, Bahamas, UAE, Nikon
Все значения попадают в один столбец и разделяются знаком «,». Как преобразовать то же самое во фрейм структурированных данных?