Создайте таблицу сопоставления Elasticsearch в каталоге клеев aws - PullRequest
Новая
       13

Создайте таблицу сопоставления Elasticsearch в каталоге клеев aws

1 голос
/ 25 марта 2019

Можно ли создать внешнюю таблицу в каталоге клея aws, которая указывает на существующий индекс Elasticsearch (например, сервер awsasticsearch), как мы можем сделать это в метастафе Hive?

А затем вставьте данные или прочитайте дату из этой таблицы, например. через авс афина?

https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.html

CREATE EXTERNAL TABLE my_db.my_es_ext_table (
   id string,
   text string,
   my_array array<string>,
   created_ts timestamp,
   year int,
   month int
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES(
   'es.nodes' = 'aws-host-to-es.us-east-1.es.amazonaws.com', 
   'es.port' = '443' , 
   'es.resource' = 'my_jobs/myjob' , 
   'es.mapping.id' = 'id',
   'es.write.operation' = 'upsert',
   'es.nodes.wan.only' = 'true'
);
...