Можно ли использовать Google Cloud Data Catalog в качестве хранилища метаданных для Datapro c (Spark / Hive / Presto), а также файлов GCS? - PullRequest
3 голосов
/ 31 января 2020

Мы используем MySQL (Облако SQL) для хранилища метаданных для Datapro c. При этом не хранится никакой информации о файлах GCS, которые не являются частью внешних таблиц Hive.

Кто-нибудь может предложить лучший способ хранить все данные о файлах / данных в одном каталоге в Google Cloud?

1 Ответ

1 голос
/ 05 февраля 2020

Бета-версия каталога облачных данных Google не работает с GCS или Hive Metastore. См., Что do c

Тегирование Ресурсы облачного хранилища (например, корзины и объекты) недоступны в бета-версии каталога данных.

Но он работает с BigQuery, см. Этот пример quickstart .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...