Написание паркетных файлов с Scala для искры без искры в качестве зависимости - PullRequest
Новая
       6

Написание паркетных файлов с Scala для искры без искры в качестве зависимости

0 голосов
/ 28 сентября 2018

Я хочу записать свою коллекцию в файл .parquet, чтобы впоследствии ее можно было прочитать с помощью Spark.

Пока я создаю файл с этим кодом: 

package com.contrib.parquet

import org.apache.avro.SchemaBuilder
import org.apache.avro.reflect.ReflectData
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.Path
import org.apache.parquet.avro.AvroParquetWriter
import org.apache.parquet.hadoop.{ParquetFileWriter, ParquetWriter}
import org.apache.parquet.hadoop.metadata.CompressionCodecName

object ParquetWriter {
  def main(args: Array[String]): Unit = {

    val schema = SchemaBuilder
      .record("Record")
      .fields()
      .requiredString("name")
      .requiredInt("id")
      .endRecord()

    val writer: ParquetWriter[Record] = AvroParquetWriter
      .builder(new Path("/tmp/parquetResult"))
      .withConf(new Configuration)
      .withDataModel(ReflectData.get)
      .withCompressionCodec(CompressionCodecName.SNAPPY)
      .withSchema(schema)
      .withWriteMode(ParquetFileWriter.Mode.OVERWRITE)
      .build()

    Seq(Record("nameOne", 1), Record("nameTwo", 2)).foreach(writer.write)
    writer.close()
  }

  case class Record(name: String, id: Int)
}

, которыйуспешно создает файл паркета.Когда я пытаюсь прочитать этот файл с помощью spark, я получаю ошибку java.lang.NoSuchMethodError: org.apache.parquet.column.values.ValuesReader.initFromPage.

Код Spark: 

val master = "local[4]"
val sparkCtx = SparkSession
  .builder()
  .appName("ParquetReader")
  .master(master)
  .getOrCreate()

val schema = Encoders.product[Record].schema
val df = sparkCtx.read.parquet("/tmp/parquetResult")
df.show(100, false)

Как записать файлы Parquet, чтобы их можно было прочитать с помощью Spark?Я не хочу иметь локальное приложение Spark, чтобы написать этот файл.

...