Как передать облачный проект Google на соединитель SHC BigTable во время выполнения?

Question

Я пытаюсь получить доступ к BigTable от Spark (Dataproc).Я испробовал несколько различных методов, и SHC, кажется, является самым чистым из того, что я пытаюсь сделать, и работает хорошо.

https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/tree/master/scala/bigtable-shc

Однако этот подход требует, чтобы я поставил идентификатор облачного проекта Googleв hbase-site.xml, что означает, что мне нужно создать отдельные версии файла fat jar с моим искровым кодом для каждого окружения, на котором я запускаю (prod, staging и т. д.), чего я бы хотел избежать.

Можно ли передать идентификатор проекта облака Google во время выполнения?

Answer 1

Насколько я могу судить, библиотека SHC не позволяет проходить через конфиги hbase (смотрите здесь ).

Самое простое - запустить действие инициализации, котороеполучает идентификатор проекта виртуальной машины из метаданных виртуальной машины и устанавливает его в hbase-site.xml.Мы работаем над инициализацией, которая делает это и устанавливает клиент Hbase для Bigtable.Проверьте текущий запрос pull , который будет хорошей отправной точкой, если вам нужно написать его немедленно.В противном случае я ожидаю, что PR будет объединен в ближайшие пару недель.

В качестве альтернативы рассмотрите возможность добавления опции в SHC для передачи свойств в создаваемую им HBaseConfiguration.Это было бы ценной функцией для более широкого сообщества.