У меня есть список Db-файлов, хранящихся в локальной папке, когда я запускаю искровую работу в локальном режиме, я могу указать локальный путь для чтения этих локальных файлов. но при работе в режиме клиента или кластера путь недоступен. кажется, их нужно хранить в HDFS или получать доступ напрямую из S3. Я делаю следующее:
java.io.File directory = new File(dbPath)
в dbPath присутствует весь список файлов db. есть ли простой способ получить доступ к этой папке файлов из HDFS или из S3, поскольку я запускаю это задание Spark на AWS.