Как я могу прочитать объекты S3 с локальной установкой pyspark?Я прошел мимо "Нет файловой системы для схемы: s3", но теперь он говорит, что не может загрузить файловую систему.На эту тему задано несколько вопросов, я попробовал многие из предложений, но ни один из них не работает.
Нет файловой системы для схемы: s3 с pyspark
Как я могу читать с S3 в pyspark, работающем в локальном режиме?
Как я могу получить доступ к S3 / S3n из локальной установки Hadoop 2.6?
Я получаю две нижеуказанные ошибки: одна касается файловой системы S3, а другая - учетные данные AWS.
2018-10-24 14:40:29 WARN FileSystem:2639 - Cannot load filesystem
java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.s3a.S3AFileSystem could not be instantiated
Caused by: java.lang.NoClassDefFoundError: com/amazonaws/auth/AWSCredentialsProvider
at java.lang.Class.getDeclaredConstructors0(Native Method)
at java.lang.Class.privateGetDeclaredConstructors(Class.java:2671)
at java.lang.Class.getConstructor0(Class.java:3075)
at java.lang.Class.newInstance(Class.java:412)
at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:380)