Есть ли способ прочитать любой формат файла, используя спарк?

Question

Я очень новичок, чтобы зажечь.

Я знаю, что могу прочитать CSV-файл, используя метод, описанный ниже.

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

val df = spark
  .read
  .format("org.apache.spark.csv")
  .option("header", true)
  .csv("/path to csv file")

Я хочу знать, есть ли способ прочитать любой файл, не учитывая его формат, используя spark и Scala.

Answer 1

если вы ссылаетесь на документацию API-интерфейса spark, он имеет стандартный набор типов файлов, которые можно указать в качестве опции.

DataReader API Doc