Spark: добавление заголовка и нижнего колонтитула к каждому файлу детали вывода спарк - PullRequest
Новая
       4

Spark: добавление заголовка и нижнего колонтитула к каждому файлу детали вывода спарк

0 голосов
/ 17 января 2020

Есть ли способ добавить верхний и нижний колонтитулы для каждого файла детали, созданного с помощью spark?

Ниже приведена конфигурация spark: 

    jsc.hadoopConfiguration().set("mapreduce.output.fileoutputformat.compress", "true");
    jsc.hadoopConfiguration().set("mapreduce.output.compression.codec", "true");
    jsc.hadoopConfiguration().set("mapreduce.output.fileoutputformat.compress.codec",
            "org.apache.hadoop.io.compress.GzipCodec");
    jsc.hadoopConfiguration().set("mapreduce.output.compression.type", "BLOCK");

Все мои выходные файлы распакованы. Мое требование заключается в добавлении верхнего и нижнего колонтитула к каждому из этих сжатых файлов, когда они создаются с использованием spark. 

            filnalResultRDD.coalesce(2, true).
                    saveAsNewAPIHadoopFile(path + "/" + newPath,
                            Text.class,
                            Text.class,
                            TextOutputFormat.class,
                            jsc.hadoopConfiguration());

Любая помощь приветствуется.

...