Проблема с Hive и Google Cloud Storage - PullRequest
Новая
       5

Проблема с Hive и Google Cloud Storage

0 голосов
/ 24 мая 2018

Пожалуйста, советуйте:

Я установил кластер hadoop 2.6.5 версии в GCP, используя экземпляры виртуальной машины.Использовал коннектор GCP и указал hdfs для использования gs bucket.Добавлены следующие 2 записи в coresite.xml: 

google.cloud.auth.service.account.json.keyfile=<Path-to-the-JSON-file> 
fs.gs.working.dir=/

При использовании hadoop gs -ls / работает нормально, но когда я создаю таблицы улья 

CREATE EXTERNAL TABLE test1256(name string,id  int)   LOCATION   'gs://bucket/';

я получаю следующееошибка:

Ошибка: ошибка при обработке оператора: СБОЙ: Ошибка выполнения, код возврата 1 из org.apache.hadoop.hive.ql.exec.DDLTask.MetaException (сообщение: java.security.AccessControlException: в доступе отказано: user = hdpuser1, path = "gs: // bucket /": hive: hive: drwx ------) (состояние = 08S01, код = 1)

Ответы [ 2 ]

0 голосов
/ 04 декабря 2018

У меня была только эта ошибка сегодня, и я смог ее исправить, добавив два следующих свойства: 

fs.gs.reported.permissions=777
fs.gs.path.encoding=uri-path

и в core-site.xml и hive-site.xml (перейдя к расширенным конфигурациям служб HDFS и Hive в ambari).

Если вы настроите его только в core-site.xml, создание внешней таблицы куста завершится неудачей.

0 голосов
/ 25 июля 2018

Как следует из сообщения об ошибке, вы столкнулись с проблемой разрешений.Сначала проверьте консоль Google Cloud Console, чтобы убедиться, что у вас есть IAM-разрешения для облачного хранилища для выполнения этого действия.Затем убедитесь, что у вас есть необходимые разрешения для пользователя "hdpuser1" в hdfs:

  • Войдите в систему как пользователь hdfs: su hdfs
  • Вы также можете изменить разрешения: hdfs dfs -chown -R <username_of_new_owner> /user

Затем выполните следующее: 

hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -mkdir /tmp
hadoop fs -chmod -R 777 /user/hive
hadoop fs -chmod 777 /tmp

Затем попробуйте снова создать таблицу Hive.Надеюсь, это поможет.

Найдите аналогичный ответ здесь .И полное руководство в GitHub для , выполняющего тест с Hive

...