как прочитать файл .dat с разделителем / u0001 и записать следующую запись будет разделена следующей строкой в ​​искре с scala

Question

У меня есть файл расширения .dat, который не имеет заголовка 1. поля, разделенные '\ u0001' 2. следующая запись будет в новой строке

как мне прочитать этот файл в spark с помощью scala и преобразовать его в датафрейм.

Answer 1

Попробуйте код ниже, я полагаю, вы используете версию > 2.x -

val df = spark
      .read
      .option("header", "true")
      .option("inferSchema", "true")
      .option("delimiter", "\01")
      .csv("<CSV_FILE_PATH_GOES_HERE>")