PySpark читает текстовый файл в одном столбце данных

Question

У меня есть текстовый файл, который я хотел бы прочитать в кадре данных.Я предпочитаю читать это в одной колонке.Это работало, пока я не наткнулся на файл с ^ в нем.

raw = spark.read.option("delimiter", "^").csv(data_dir + pair[0])

Но, увы, случайно, следующий раз сломал шаблон.Я не вижу опции для delimiter None.Есть ли эффективный способ сделать это?

Answer 1

Вы смотрели на использование spark.read.textFile вместо этого? Он может делать то, что вы хотите.