pyspark: read.parquet, пропуская пропущенные файлы

Question

Я думаю, что этот вопрос относится к Spark: чтение файла только в том случае, если путь существует , но другой - для Scala.

Я читаю файлы из hdfs:

df_list = sqlContext.read.option('basePath','/data/').parquet(*search_path)

Проблема в том, что при отсутствии файла команда read сгенерирует исключение и остановится.

Можно ли пропустить read.parquet пропускотсутствующие файлы в списке search_path?

Большое спасибо

Answer 1

Вы можете использовать тот же способ: использование клиента Python hdfs для проверки, является ли каталог пустым.

См. эту ссылку для дальнейшего использования.