Файл данных Spark json не существует

Question

df = spark.read.format("json").option("header", "true").load("test.json")

У меня есть сценарий, когда файл доступен по пути, в котором выполняется код, но мне нужна идея, если в пути нет файла json, как решить проблему.

С AutoSysУ меня может быть работа с FileWatcher, но мне нужна помощь, если это можно сделать с помощью Spark.

Answer 1

Вы можете заключить вызов в load в блоке try / кроме:

from pyspark.sql.utils import AnalysisException
try:
    df = spark.read.format("json").option("header", "true").load("test.json")
except AnalysisException as e:
    print(e)
#u'Path does not exist: hdfs://path/to/file/test.json;'