Создание фрейма данных из текстовых файлов, в pyspark не работает

Question

Ниже приведен код для чтения списка файлов данных, разделенных символом ^ во фрейм данных. Однако каждое поле загружается как отдельная строка вместо чтения строки за строкой.

Другими словами, одна строка содержит только одно поле, а не все поля строки.

Это делается внутри python искры блоков данных.

Поля разделены ^.

df = spark.read.text(paths='path/srcfilepath',lineSep='^')

Answer 1

Используйте spark.read.csv вместо text с разделителем , опцией ^

spark.read.option("delimiter","^").csv("path/srcfilepath").show()