Можно ли использовать Google Cloud Data Catalog в качестве хранилища метаданных для Datapro c (Spark / Hive / Presto), а также файлов GCS?

Question

Мы используем MySQL (Облако SQL) для хранилища метаданных для Datapro c. При этом не хранится никакой информации о файлах GCS, которые не являются частью внешних таблиц Hive.

Кто-нибудь может предложить лучший способ хранить все данные о файлах / данных в одном каталоге в Google Cloud?

Answer 1

Бета-версия каталога облачных данных Google не работает с GCS или Hive Metastore. См., Что do c

Тегирование Ресурсы облачного хранилища (например, корзины и объекты) недоступны в бета-версии каталога данных.

Но он работает с BigQuery, см. Этот пример quickstart .