Как пропустить запись нижнего колонтитула / трейлера при загрузке CSV-файла в таблицу кустов

Question

Файл CSV с разделителями-запятыми.

Имеется инфраструктура для приема файла CSV.Заголовок из того же файла пропускается по:

Df.Option(“header”, “true”)

Но запись о трейлере в том же пакете искры, я не могу пропустить ту же логику.

Пожалуйста, помогите с этим поглощением данных.

Answer 1

Пожалуйста, проверьте этот ответ:

Узнайте, как удалить последнюю строку в CSV-файле

Копия из того же ответа:

val total = df.count();
val withoutFooter = df.zipWithIndex()
                        .filter(x => x._2 < total - 3)
                        .map (x => x._1)