Как удалить нижний колонтитул из файла при чтении файла в Spark Scala

Question

Я пытаюсь удалить нижний колонтитул из файла во время чтения файла. есть ли такая опция, как "нижний колонтитул" = "правда".

Answer 1

Наилучшим подходом будет использование Unix для удаления нижнего колонтитула из файла

sed -i '$ d' foo.txt

Если вы хотите сделать это искрометным способом, вы можете сначала создать фрейм данных, затем преобразовать его в rdd и удалить последнюю строку из DF

Допустим, df - ваш информационный кадр после чтения файла

val cnt= df.count();
val rdd = dataframe.rdd  // convert df to rdd

//-- RDD without footer
val rddWithoutfoot = rdd.zipWithIndex().filter(x => x._2 < cnt )
                            .map (x => x._1)

// Dataframe without  footer
val dfWithoutfoot = spark.createDataFrame(rddWithoutFoot , df.schema)