Загрузка данных из GCS с использованием Spark Local - PullRequest
Новая
       21

Загрузка данных из GCS с использованием Spark Local

1 голос
/ 08 марта 2019

Я пытаюсь прочитать данные из групп GCS на моем локальном компьютере, для целей тестирования.Я хотел бы попробовать некоторые данные в облаке. Я скачал JAR .

GCS Hadoop и настроил sparkConf следующим образом: 

conf = SparkConf() \
    .setMaster("local[8]") \
    .setAppName("Test") \
    .set("spark.jars", "path/gcs-connector-hadoop2-latest.jar") \
    .set("spark.hadoop.google.cloud.auth.service.account.enable", "true") \
    .set("spark.hadoop.google.cloud.auth.service.account.json.keyfile", "path/to/keyfile")

sc = SparkContext(conf=conf)

spark = SparkSession.builder \
    .config(conf=sc.getConf()) \
    .getOrCreate()

spark.read.json("gs://gcs-bucket")

Я также попытался установить conf следующим образом: 

sc._jsc.hadoopConfiguration().set("fs.AbstractFileSystem.gs.impl",  "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS")
sc._jsc.hadoopConfiguration().set("fs.gs.auth.service.account.json.keyfile", "path/to/keyfile")
sc._jsc.hadoopConfiguration().set("fs.gs.auth.service.account.enable", "true")

Я использую установку PySpark через PIP и запускаю код, используя модуль модульного тестирования от IntelliJ 

py4j.protocol.Py4JJavaError: An error occurred while calling o128.json.
: java.io.IOException: No FileSystem for scheme: gs

Что должноЯ делаю?

Спасибо!

1 Ответ

0 голосов
/ 27 марта 2019

Для решения этой проблемы необходимо добавить конфигурацию для свойства fs.gs.impl в дополнение к уже настроенным свойствам: 

sc._jsc.hadoopConfiguration().set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem")
...