Как поделиться кэшированными таблицами, когда сервер Thrift работает в мультисессионном режиме в spark 1.6? - PullRequest
0 голосов
/ 14 декабря 2018

Я создал кэшированную таблицу через сеанс А через beeline, через который я могу получить доступ к данным.Я пытался получить доступ к этой кэшированной таблице из другого сеанса, но не могу найти ее.

Вот что я пробовал

cache table as select ...
create temporary view as select ...

Получил описание с официального сайта Spark: http://spark.apache.org/docs/2.3.2/sql-programming-guide.html#upgrading-from-spark-sql-15-to-16

Из Spark 1.6, по умолчанию это ThriftСервер работает в мультисессионном режиме.Это означает, что каждому соединению JDBC / ODBC принадлежит копия их собственной конфигурации SQL и реестра временных функций. Кэшированные таблицы по-прежнему используются совместно. Если вы предпочитаете запускать сервер Thrift в старом односессионном режиме, пожалуйста,Установите для параметра spark.sql.hive.thriftServer.singleSession значение true.Вы можете либо добавить эту опцию в spark-defaults.conf, либо передать ее в start-thriftserver.sh через --conf

Что означает слово «Кэшированные таблицы все еще совместно используются» здесь?

...