данные искры читаются со строкой в ​​кавычках

Question

У меня есть файл данных csv, как указано ниже, каждая строка завершается возвратом каретки ('\ r')

, но определенное значение текста является многопоточным полем, разделителем строк в качестве перевода строки ('\п ').как использовать опцию API источника данных spark для решения этой проблемы.

с введите описание изображения здесь

Answer 1

В Spark 2.2.0 добавлена ​​поддержка анализа многострочных файлов CSV.Вы можете использовать следующее, чтобы прочитать csv с несколькими строками:

val df = spark.read
  .option("sep", ",")
  .option("quote", "")
  .option("multiLine", "true")
  .option("inferSchema", "true")
  .csv(file_name)