В настоящее время в нашем проекте мы используем HDInsights 3.6, в котором по умолчанию включена интеграция spark и hive, поскольку оба совместно используют одни и те же каталоги. Теперь мы хотим перенести HDInsights 4.0, где у spark и hive будут разные каталоги. У меня было go через документ Microsoft (https://docs.microsoft.com/en-us/azure/hdinsight/interactive-query/apache-hive-warehouse-connector), где нам нужен дополнительный кластер, необходимый для интеграции с помощью соединителя хранилища Hive. Теперь я хотел бы знать, есть ли какой-либо другой подход вместо использования дополнительного кластера. Любые предложения будут весьма заметны. Спасибо
Если вы используете внешние таблицы, они могут указать Spark и Hive на использование одного и того же метастаза. Это относится только к внешним таблицам.