Я использую Snowflake в качестве DWH и Spark для ETL, и у меня нет таблиц Hive. Можно ли использовать Apache Kylin без экосистемы Hadoop?
Ответ НЕТ. Он не может читать напрямую из фреймов Spark Data, источники данных, которые он поддерживает, это Hive, Kafka и RDBMS.
Облако Kyligence, основанное на ядре Apache Kylin, но облачное предложение, основанное на AWS и Azure, позволяет подключаться к Snowflake напрямую без Hadoop. Проверьте здесь, чтобы узнать больше: https://kyligence.io/news/kyligence-releases-cloud-native-olap-for-azure-aws-and-google-cloud-platform/
Это довольно сложно из того, что я прочитал. Некоторые альтернативы, которые я бы предложил для использования преимуществ аналитики в распределенных системах, - это использование материализованных представлений для фильтрации данных, которые вы хотите получить, от частей каждой распределенной системы в Snowflake. Подробнее о материализованных представлениях
А функция предварительного просмотра, Обмен данными для анализа запросов?
Надеюсь, это поможет, извините, я не очень помог с Apache Kylin.