Pyspark: как читать файл .csv? - PullRequest
0 голосов
/ 06 мая 2020

Я пытаюсь прочитать файл .csv в странном формате.

Это то, что я делаю

df =  spark.read.format('csv').option("header", "true").option("delimiter", ',').load("muyFile.csv"))
df.show(5)

enter image description here

Не понимаю, почему транспонирована запись lonlat третьего id. Кажется, что у файла два разных разделителя. Мы будем благодарны за вашу помощь!

1 Ответ

0 голосов
/ 08 мая 2020

ваше поле тега, вероятно, содержит запятую как значение, которое рассматривается как разделитель. заключите ваши данные в кавычки или любой другой символ кавычек (не забудьте установить .option ('quote', '')) и снова прочитайте данные. Должно работать

...