Hive не может читать данные из HDFS в HDP 3.x - PullRequest
Новая
       10

Hive не может читать данные из HDFS в HDP 3.x

0 голосов
/ 22 декабря 2018

Hiveserver2 не может прочитать данные HDFS.Я построил таблицу поверх HDFS.

Это свойства таблицы, которые я пытался решить, ни одно из них не работает идеально в HDP 3.x

  1. Пробовал как внутренние, так и внешние таблицы

  2. Сохраняется как ORC

  3. 777, рекурсивно для всех папок

  4. Выполнение таблицы в качестве одного и того же владельца таблицы

  5. Транснациональная истина (только для внутренней таблицы)

  6. Orc compress zlib

  7. Восстановление Msck выполнено успешно.Отображаемые значения разделов и размер папок такие же, как в prod

  8. Секционированные и сгруппированные

CREATE EXTERNAL TABLE `machine_data`(`ids` string,`delta` string,`locatio` string,`time_data` string,`valid` boolean,`measure` string,`val` float ) PARTITIONED BY (`nodename` string) CLUSTERED BY (delta) INTO 53 BUCKETS ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' ;

Iпереместили данные с сервера A на сервер B и сервер C в HDFS и создали таблицу поверх данных HDFS.Все три сервера находятся в HDP 3.1.Сервер А это рабочий сервер, который отлично работает с начальной настройки.Переместили данные на dev и тестовый сервер соответственно.

Сервер B - это тестовый сервер, который, кажется, работает без изменений на следующий день.

Сервер C - сервер Dev вообще не работает после трехдней.

Конфиги HS2 сравниваются.Почти одинаково для всех серверов

Очень странно обрабатывать сценарии такого типа.

...