Я хотел бы выяснить, возможно ли создать простую искровую программу, работающую в кластере MAPR, которая сохраняет результирующий набор данных в локальном хранилище HDFS и GCP.
Я понимаю, что это может бытьсделано с gsutil для копирования файлов из HDFS в GCS, но это не то, что я ищу.
см. упрощенный код в spark-shell
val ds = spark.read.textFile("/some/location/input.txt")
ds.write.save("/some/location/result.txt")
ds.write.save("gs://${BUCKET_NAME}/result.txt")
Спасибо за помощь.