Невозможно создать таблицу кустов на gs-bucket из моего локального cloudera vm - PullRequest
Новая
       2

Невозможно создать таблицу кустов на gs-bucket из моего локального cloudera vm

0 голосов
/ 16 октября 2018

При попытке подключить таблицу к корзине gs из vm, получая сообщение об ошибке ниже.

org.apache.hadoop.hive.ql.exec.DDLTask.MetaException (сообщение: Получено исключение: java.io.IOException Нет файловой системы для схемы: gs)

Чтобы получить доступ к gs-bucket из моего локального виртуального компьютера, я добавил следующие свойства в core-site.xml 

<property>
<name>google.cloud.auth.service.account.enable</name>
<value>true</value>
</property>
<property>
<name>google.cloud.auth.service.account.json.keyfile</name>
<value>/root/xyz/key.json</value>
</property>

<property> 
<name>fs.gs.impl</name> 
<value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value> 
</property> 

<property> 
<name>fs.AbstractFileSystem.gs.impl</name> <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS</value> 
</property>

Также добавлен путь к jar-коннектору google в hadoop-env.sh и hive-env.sh 

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/root/xyz/gcs-connector-hadoop2-latest.jar

Также добавлен gcs-connector-hadoop2-latest.jar в hadoop lib итакже hive lib

/ usr / lib / hadoop / lib /
/ usr / lib / hive / lib

Выполнив вышеуказанные действия, я могузапускать hadoop ls и hadoop cat на GS bucket из локального vm, но когда я пытался создать таблицу кустов на одном и том же bucket, это не позволяет мне.

...