Spark: загрузить файл, который пишется - PullRequest
0 голосов
/ 04 июня 2018

В пакете Spark я загружаю файл CSV обычным способом:

val offerDf = spark.read
  .option("header", "true")
  .option("delimiter", ";")
  .csv("myfile.csv")

В другой партии Linux (что не в моем бизнесе) файл может быть записан - одновременнопоскольку я читаю это, поскольку оба являются периодическими задачами.

Так есть ли способ быть уверенным, что файл CSV не будет изменен, когда я его читаю (кроме планирования задач, поскольку их продолжительность не известна)

...