Snappydata магазин с улей метастарка из существующей установки искры - PullRequest
Новая
       43

Snappydata магазин с улей метастарка из существующей установки искры

0 голосов
/ 11 мая 2018

Я использую snappydata-1.0.1 на HDP2.6.2, spark 2.1.1 и смог подключиться из внешнего искрового приложения.Но когда я включаю поддержку кустов, добавляя hive-site.xml в spark conf, snappysession перечисляет таблицы из hivemetastore вместо snappystore. 

SparkConf sparkConf = new SparkConf().setAppName("TEST APP");
JavaSparkContext javaSparkContxt = new JavaSparkContext(sparkConf);
SparkSession sps = new SparkSession.Builder().enableHiveSupport().getOrCreate();
SnappySession snc = new SnappySession(new SparkSession(javaSparkContxt.sc()).sparkContext());
snc.sqlContext().sql("show tables").show();

Приведенный выше код дает мне список таблиц в хранилище snappy, когда куст-site.xml отсутствует в sparkconf, если добавлен файл hive-site.xml .. он перечисляет мне таблицы из метастова куста.

Разве невозможно использовать метасторное хранилище hive и метасторное хранилище snappydata в одном приложении?Можно ли считать таблицу кустов в таблицу данных и таблицу snappydata другому DF в том же приложении?Заранее спасибо

1 Ответ

0 голосов
/ 12 мая 2018

Итак, проблема не в метастафе улья. Вы можете использовать таблицы Hive и Snappy в одном приложении. например скопировать таблицу кустов в память Snappy . Но нам нужно будет протестировать использование внешнего метасторога улья, настроенного в hive-site.xml. Возможно ошибка.

Вы должны попробовать использовать умный разъем Snappy. Т.е. запустите Spark с помощью дистрибутива Spark в HDP и подключитесь к кластеру Snappydata с помощью коннектора (см. документы). Похоже, вы пытаетесь запустить приложение Spark с помощью дистрибутива Snappydata.

...