Я хочу знать, как мне получить список файлов .csv из моей программы
class LiveStreamingProg {
def liveData(sparkSession: SparkSession, sparkCont: SparkContext): Unit = {
val ss = new StreamingContext(sparkCont, Seconds(2))
val path = "s3a://word.count.spark/";
val schema = StructType(
StructField("date", StringType, true) ::
StructField("close",StringType, true) ::
StructField("volume", StringType, true) ::
StructField("open", StringType, true) ::
StructField("high",StringType,true) ::
StructField("low", StringType,true) :: Nil)
val line=sparkSession.readStream
.format("csv")
.option("sep",",").schema(schema)
.load(path)
val l1=line.writeStream.outputMode("append")
.format("csv")
.option("checkpointLocation", "/home/user/StockDataSparkStraming/src/main/scala/CheckPoint")
.trigger(Trigger.ProcessingTime("5 seconds"))
.start("/home/user/StockDataSparkStraming/src/main/scala/output")
l1.awaitTermination()
}
}
Я не могу вызвать мой метод readCSV (), потому что мне нужен весь список файлов .csv