Spark Java API.Доступ к последнему элементу СДР - PullRequest
Новая
       7

Spark Java API.Доступ к последнему элементу СДР

0 голосов
/ 20 февраля 2019

Я работаю над Spark SQL (2.2) с использованием Spark Java API.

RDD.first() или RDD.take(1) дает первый элемент, есть ли прямой способ доступа к последнему элементу в аналогичномспособ?

Я не могу применить метод хвост / последний для СДР.

Мне нужно использовать СДР, потому что мне нужно проверить, содержит ли последняя строка моего файла "\ r"или "\ n".Если я использую DataFrame из Dataset Spark, удалите "\ r" и "\ n".

Вот как я загружаю данные, используя API Java spark. 

JavaSparkContext jsc = JavaSparkContext.fromSparkContext(session.sparkContext());
    Configuration hadoopConf = new Configuration();
    hadoopConf.set("textinputformat.record.delimiter", separateur);
    JavaRDD<String> rdd = jsc
            .newAPIHadoopFile(fecpath, TextInputFormat.class, LongWritable.class, Text.class, hadoopConf).values()
            .map(r -> r.toString());
...