Как включить LLAP для Hive 2.1.0 в кластере Dataproc?

Question

Я пытаюсь настроить LLAP (интерактивный запрос) для Hive 2.1.0, который поставляется вместе с Google Cloud Dataproc.Я уже включил Tez в качестве механизма выполнения, но я не могу найти какую-либо документацию / шаги для включения LLAP для ускорения Hive.Большинство из доступных для кластера Hortonworks, который делается через Ambari.

Answer 1

Я думаю, что вы можете использовать Свойства конфигурации куста - LLAP , чтобы добавить следующие свойства при создании кластера.

--properties 'hive:hive.llap.execution.mode=<mode>,hive:hive.server2.llap.concurrent.queries=<n>,...'

Обратите внимание, что префикс "hive:" необходим для Dataproc, чтобы указать свойства Hive.

Answer 2

Согласно этому документу с использованием Apache Hive в облачном хранилище данных и Cloud SQL I / O и Hive Metastore

gcloud dataproc clusters create hive-cluster \
    --scopes sql-admin \
    --image-version 1.3 \
    --initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
    --properties 'hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets,hive:hive.llap.execution.mode=<mode>,hive:hive.server2.llap.concurrent.queries=<n>' \
    --metadata "hive-metastore-instance=<PROJECT_ID>:<REGION>:<INSTANCE_NAME>" 

Если вам нужно настроить любойнастройку кустов (hive-site.xml), просто добавьте hive: xxx в свои свойства.