Как использовать метод Spark hadoopFile, чтобы использовать пользовательский формат ввода с типом значения Text?

Question

Как использовать метод Spark hadoopFile, чтобы использовать пользовательский формат ввода с типом значения Text? Например OmnitureDataFileInputFormat для обработки данных Omniture Click Stream?

Answer 1

import org.rassee.omniture.hadoop.mapred.OmnitureDataFileInputFormat
import java.nio.charset.StandardCharsets
import org.apache.hadoop.io.{LongWritable, Text}
import org.apache.hadoop.mapred.InputFormat

val rddLines: RDD[String] =
  sparkSession.sparkContext.hadoopFile(
    path = path,
    inputFormatClass = classOf[OmnitureDataFileInputFormat],
    keyClass = classOf[LongWritable],
    valueClass = classOf[Text]
  )
  .map(_._2.copyBytes()).map(new String(_, StandardCharsets.UTF_8))