Как получить список файлов .csv, которые генерируются в локальной системе с помощью метода writeStream () потоковой передачи структуры Spark - PullRequest
1 голос
/ 04 июля 2019

Я хочу знать, как мне получить список файлов .csv из моей программы

class LiveStreamingProg {
          def liveData(sparkSession: SparkSession, sparkCont: SparkContext): Unit = {
              val ss = new StreamingContext(sparkCont, Seconds(2))
              val path = "s3a://word.count.spark/";

            val schema = StructType(
              StructField("date", StringType, true) ::
                StructField("close",StringType, true) ::
                StructField("volume", StringType, true) ::
                StructField("open", StringType, true) ::
                StructField("high",StringType,true) ::
                StructField("low", StringType,true) :: Nil)

            val line=sparkSession.readStream
                .format("csv")
                .option("sep",",").schema(schema)
                .load(path)

            val l1=line.writeStream.outputMode("append")
              .format("csv")
              .option("checkpointLocation", "/home/user/StockDataSparkStraming/src/main/scala/CheckPoint")
              .trigger(Trigger.ProcessingTime("5 seconds"))
              .start("/home/user/StockDataSparkStraming/src/main/scala/output")

            l1.awaitTermination()
      }
    }

Я не могу вызвать мой метод readCSV (), потому что мне нужен весь список файлов .csv

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...