Таблицы, созданные в Snappy-shell / snappy-sql, не отображаются в режиме интеллектуального соединителя | Джава - PullRequest
Новая
       13

Таблицы, созданные в Snappy-shell / snappy-sql, не отображаются в режиме интеллектуального соединителя | Джава

0 голосов
/ 09 мая 2018

Искровой текст создается, как показано ниже 

SparkConf sparkConf = new SparkConf().setAppName(args[0]);
snappySes = new SnappySession(new SparkSession.Builder().config("spark.snappydata.connection", "localhost:1527").getOrCreate())

Чтение мгновенных данных 

snappySes.table("SNAPPY_COL_TABLE").show(10);

Работа представлена ​​ниже 

/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --conf --conf snappydata.connection=localhost:1527 --conf spark.ui.port=0 --master local[*] --driver-memory 2g --jars  --deploy-mode client --conf spark.driver.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --conf  spark.executor.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --class myclass

Работа подключается к snappydata, журналы ниже

Инициализация SnappyData в режиме кластера: режим интеллектуального соединителя: sc = org.apache.spark.SparkContext@164d01ba, url = JDBC: snappydata: // локальный [1527] /

Но происходит сбой, если таблица не найдена. Это указывает на другое хранилище перечислены разные таблицы

Если то же самое задание отправлено с помощью sparksubmit snappy. Работает как положено. Единственное изменение - это отправка задания 

/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --- fails
/root/snappydata-1.0.1-bin/bin/spark-submit ---- Pass

1 Ответ

0 голосов
/ 09 мая 2018

Предположительно, вы используете два кластера snappydata. И как-то ваш localhost не разрешается равномерно? Если вы остановите snappy-кластер, получите ли вы исключение при отправке в HDP?

...