Поставщик com.google.cloud.had oop .fs.gcs.GoogleHadoopFileSystem не может быть создан - PullRequest
Новая
       85

Поставщик com.google.cloud.had oop .fs.gcs.GoogleHadoopFileSystem не может быть создан

0 голосов
/ 05 февраля 2020

Я пытаюсь установить Google Cloud Storage на Spark. Я добавил «gcs-connector-latest-hadoop2.jar» в classpath had oop, используя -libjars. Я все еще получаю ошибку GoogleCloudStorageFileSystem class not found. 

$ hadoop fs -libjars /PATH/gcs-connector-hadoop2-latest.jar -ls /HDFS_PATH
20/02/05 05:41:33 WARN fs.FileSystem: Cannot load filesystem: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem could not be instantiated
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.NoClassDefFoundError: com/google/cloud/hadoop/gcsio/GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.ClassNotFoundException: com.google.cloud.hadoop.gcsio.GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: Cannot load filesystem: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem could not be instantiated
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.NoClassDefFoundError: com/google/cloud/hadoop/gcsio/GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.ClassNotFoundException: com.google.cloud.hadoop.gcsio.GoogleCloudStorageFileSystem

Есть ли что-то, чего я здесь не хватает?

...