Как получить доступ к таблицам Hive из Apache Spark?

Question

Я настроил смарт-магазин кустов и использую платформу spark для запроса к таблице и выполнения операций ETL, теперь я хочу, чтобы пользователи обращались к таблицам кустов путем подключения со своего локального компьютера, а в запросе следует использовать платформу spark.

Answer 1

Думаю, вам стоит взглянуть на Hive on Spark .

Когда у вас будет конфигурация для этой службы (объяснено на связанном веб-сайте), пользователи смогут писать запросы в Hive Editor, например, в Hue, но Spark будет использоваться для предоставления результатов.Пользователи могут изменить механизм своих запросов следующим образом

set hive.execution.engine=spark;
set hive.execution.engine=mr;

Answer 2

Существуют различные методы, которыми вы можете воспользоваться, чтобы подключиться к метасольве Hive или получить доступ к таблицам Hive из среды обработки Apache Spark.

Ниже приведены некоторые наиболее часто используемые методы для доступа к таблицам кустов из Apache Spark:

• Доступ к таблицам кустов с помощью Apache Spark Beeline
• Доступ к таблицам кустов с помощью драйвера JDBC Apache Spark
• Выполнение скрипта Pyspark из Python и примеров

Пожалуйстаперейдите по этой ссылке, чтобы понять в деталях: http://dwgeek.com/methods-to-access-hive-tables-from-apache-spark.html/