Поведение метода загрузки DataFrameReader в случае несуществующего пути S3 - PullRequest
0 голосов
/ 26 марта 2020

У меня следующий код в Spark Java. Существует несколько путей s3, и предположим, что один из путей не существует:

String[] s3PathsArray = ["s3://existing_path", "s3://non_existing_path"]
DataFrameReader dataFrameReader = sparkSession.read();
StructType inputSchemaStruct = createInputSchema(inputSchema);
dataFrameReader = dataFrameReader.schema(inputSchemaStruct);
dataFrameReader.format(INPUT_FORMAT).load(s3PathsArray);

Как будет вести себя метод загрузки, если один из путей не существует?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...