как прочитать таблицу кустов орков в спарк?

Question

• 1. как прочитать таблицу кустов транзакций орков в spark?

     Возникла проблема при чтении таблицы транзакций ORC через спарк я получаю схему таблицы улья, но не могу прочитать фактические данные

     См. Полный сценарий:

     hive> создать таблицу default.Hello (id int, name name string), кластеризованная (id) в 2 ведра, ХРАНЕННЫЕ КАК ТОРГОВЫЕ СВОЙСТВА ORC ( 'Транзакционной' = 'истинно');

     hive> вставить в значения default.hello (10, 'abc');

     сейчас я пытаюсь получить доступ к данным Hive Orc из Spark sql, но они показывают только схема

     spark.sql ("выбрать * из привет"). Show ()

     Вывод: id, имя

Answer 1

spark сейчас не полностью (версия 2.3) полностью совместима с транзакционными таблицами улья. Обходной путь - сделать сжатие таблицы после любой транзакции.

ALTER TABLE Hello COMPACT 'major';

Это сжатие должно помочь вам увидеть данные. (через некоторое время данные сжимаются)

Answer 2

Да, в качестве обходного пути мы можем использовать сжатие, но когда работа выполняется микропакетным уплотнением, это не поможет.поэтому я решил использовать вызов JDBC.Пожалуйста, отправьте мой ответ на этот вопрос по ссылке ниже или перейдите на страницу GIT - https://github.com/Gowthamsb12/Spark/blob/master/Spark_ACID

Пожалуйста, отправьте мой ответ на этот вопрос

Answer 3

Вам необходимо добавить действие в конце, чтобы заставить его выполнить запрос:

spark.sql("Select * From Hello").show()

(по умолчанию здесь отображаются 20 строк)

или

spark.sql("Select * From Hello").take(2)

чтобы увидеть 2 строки выходных данных.

Это всего лишь примеры действий, которые могут быть предприняты в DataFrame.