Как создать программу чтения источника данных Dynami c и программу чтения различных форматов файлов в scala spark

Question

Я пытаюсь создать программу в Spark scala, которая считывает данные из разных источников на основе динамических c на основе параметров конфигурации.

Я пытаюсь создать программу, которая читает данные в другом формате, такие как csv, parquet и файлы последовательности, Dynami c, основанные на настройке конфигурации.

Я пытался больше, пожалуйста, помогите, я новичок в scala spark

Answer 1

Пожалуйста, используйте файл конфигурации, чтобы указать формат и местоположение вашего входного файла. Например:

import java.io.File
import com.typesafe.config.{ Config, ConfigFactory }

val configFile= System.getProperty("config.file")

val config = ConfigFactory.parseFile(new File(configFile))

val format = config.getString("inputDataFormat")

Исходя из вышеизложенного format, напишите свои условные выражения для чтения файлов.