Прочитать файл parquet file из s3 в java

Question

Я новичок в Java и Spark sql. Я хотел знать, есть ли способ прочитать файл формата Spark Parquet, сохраненный как JSON в S3, в моем коде Java?

Answer 1

val spark = SparkSession.builder()
      .master("local[1]")
      .getOrCreate()

spark.read().json("s3a://your/json/path.json")

spark.write().parquet("parquet/file/path.parquet")