Presto DDL на S3 с использованием FileHiveMetastore не работает - PullRequest
Новая
       6

Presto DDL на S3 с использованием FileHiveMetastore не работает

0 голосов
/ 05 февраля 2019

Я попытался подключить Presto к S3 с помощью FileHiveMetaStore с указанными ниже конфигурациями, но это происходит, когда я пытаюсь создать таблицу с упомянутым оператором, но она не работает с сообщением об ошибке, упомянутым ниже.Может ли кто-нибудь сообщить мне, если упомянутые конфигурации неправильны.

Я мог видеть, что это возможно, поскольку кто-то уже упомянул, что возможно подключить

ссылочный поток: - Настройка автономного сервиса Hive Metastore For Presto и AWS S3

сообщение об ошибке: - com.amazonaws.services.s3.model.AmazonS3Exception: указанный сегмент не существует (Сервис: Amazon S3; код состояния:404; Код ошибки: NoSuchBucket; Идентификатор запроса: 33F01AA7477B12FC) 

**connector.name=hive-hadoop2
hive.metastore=file
hive.metastore.catalog.dir=s3://ap-south-1.amazonaws.com/prestos3test/
hive.s3.aws-access-key=yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
hive.s3.aws-secret-key=zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz
hive.s3.endpoint=http://prestos3test.s3-ap-south-1.amazonaws.com
hive.s3.ssl.enabled=false
hive.metastore.uri=thrift://localhost:9083**

Создание внешней таблицы

** CREATE TABLE PropData (целое число prop0, целое число prop1, prop2 varchar, prop3 varchar, prop4 varchar

) WITH (format = 'ORC', external_location = 's3: // prestos3test') **

Спасибо, Сантош

1 Ответ

0 голосов
/ 07 февраля 2019

Я получил помощь из других уголков, подумал, что это будет полезно для других, поэтому документировал необходимую конфигурацию ниже.

connector.name=hive-hadoop2
hive.metastore=file
hive.metastore.catalog.dir=s3://prestos3test/
hive.s3.aws-access-key=yyyyyyyyyyyyyyyyyy
hive.s3.aws-secret-key=zzzzzzzzzzzzzzzzzzzzzz
hive.s3.ssl.enabled=false
hive.metastore.uri=thrift://localhost:9083

Спасибо, Сантош

...