Java Spark, как сохранить JavaPairRDD <HashSet <String>, HashMap <String, Double >> в файл?

Question

Я получил этот "JavaPairRDD<HashSet<String>, HashMap<String, Double>>" RDD после некоторых сложных агрегаций, хочу сохранить результат в файл. Я считаю, что saveAsHadoopFile - хороший API для этого, но у меня проблемы с заполнением параметров для saveAsHadoopFile(path, keyClass, valueClass, outputFormatClass, CompressionCodec). Кто-нибудь может помочь?

Answer 1

Вы можете использовать следующую функцию, а затем проанализировать ее до желаемого результата.

rdd.saveAsTextFile ("hdfs:///complete_path_to_hdfs_file/");

но если вы хотите использовать API saveAsHadoopFile, то можно использовать следующий метод.

saveAsHadoopFile(complete_path_to_file, HashSet.class, HashMap.class, TextOutputFormat.class)

Вы также можете использовать HadoopOutputFormat.class в качестве последнего параметра

Для получения дополнительной информации вы можете обратиться по этой ссылке HadoopFile