spark sql не читает CSV-файл мультиделиматора

Question

Я пытаюсь прочитать CSV-файл multidelimter (|, ||) с помощью pyspark sql, я не могу прочитать какие-либо данные из фрейма данных, что дает 0 записей. *

Newyork|234567|company Ltd||PIN

---

df = spark.read.option.("sep","|").option("header","true").load(csv)

Мне нужно прочитать данные, есть ли другой способ справиться с этим?

Answer 1

Попробуйте это -

spark.read
      .option("sep", "|")
      .option("header", "true")
      .csv(spark.read.text("<path>").as(Encoders.STRING).map(_.replaceAll("\\|\\|", "|")))