Как проверить источники данных друидов с помощью Hive

Question

Вчера я создал свой первый источник данных Druid из Hive. Сегодня я не уверен, что это работает ...

Сначала я запустил следующий код для создания моей базы данных:

SET hive.druid.broker.address.default = 10.20.173.30:8082;
SET hive.druid.metadata.username = druid;
SET hive.druid.metadata.password = druid_password;
SET hive.druid.metadata.db.type = postgresql;
SET hive.druid.metadata.uri = jdbc:postgresql://10.20.173.31:5432/druid;

CREATE EXTERNAL TABLE test (
    `__time` TIMESTAMP,
    `userId` STRING,
    `lang` STRING,
    `location` STRING,
    `name` STRING
)
STORED BY 'org.apache.hadoop.hive.druid.DruidStorageHandler'

Я могу видеть этот источник данных в моей архитектуре Hive. Как я могу узнать, что этот источник данных является источником данных Druid, а не таблицей Hive.

Я проверял это, но не знаю, является ли он источником данных Druid.

DESCRIBE FORMATTED test;

Результат

+-------------------------------+----------------------------------------------------+----------------------------------------------------+
|           col_name            |                     data_type                      |                      comment                       |
+-------------------------------+----------------------------------------------------+----------------------------------------------------+
| # col_name                    | data_type                                          | comment                                            |
| __time                        | timestamp                                          | from deserializer                                  |
| userid                        | string                                             | from deserializer                                  |
| lang                          | string                                             | from deserializer                                  |
| location                      | string                                             | from deserializer                                  |
| name                          | string                                             | from deserializer                                                                    |
| # Detailed Table Information  | NULL                                               | NULL                                               |
| Database:                     | druid_datasources                                  | NULL                                               |
| OwnerType:                    | USER                                               | NULL                                               |
| Owner:                        | hive                                               | NULL                                               |
| CreateTime:                   | Tue Oct 15 12:42:22 CEST 2019                      | NULL                                               |
| LastAccessTime:               | UNKNOWN                                            | NULL                                               |
| Retention:                    | 0                                                  | NULL                                               |
| Location:                     | hdfs://10.20.173.30:8020/warehouse/tablespace/external/hive/druid_datasources.db/test | NULL                                               |
| Table Type:                   | EXTERNAL_TABLE                                     | NULL                                               |
| Table Parameters:             | NULL                                               | NULL                                               |
|                               | COLUMN_STATS_ACCURATE                              | {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"__time\":\"true\",\"lang\":\"true\",\"location\":\"true\",\"name\":\"true\",\"userid\":\"true\"}} |
|                               | EXTERNAL                                           | TRUE                                               |
|                               | bucketing_version                                  | 2                                                  |
|                               | druid.datasource                                   | druid_datasources.test                     ||
|                               | numFiles                                           | 0                                                  |
|                               | numRows                                            | 0                                                  |
|                               | rawDataSize                                        | 0                                                  |
|                               | storage_handler                                    | org.apache.hadoop.hive.druid.DruidStorageHandler   |
|                               | totalSize                                          | 0                                                  |
|                               | transient_lastDdlTime                              | 1571136142                                         |
|                               | NULL                                               | NULL                                               |
| # Storage Information         | NULL                                               | NULL                                               |
| SerDe Library:                | org.apache.hadoop.hive.druid.serde.DruidSerDe      | NULL                                               |
| InputFormat:                  | null                                               | NULL                                               |
| OutputFormat:                 | null                                               | NULL                                               |
| Compressed:                   | No                                                 | NULL                                               |
| Num Buckets:                  | -1                                                 | NULL                                               |
| Bucket Columns:               | []                                                 | NULL                                               |
| Sort Columns:                 | []                                                 | NULL                                               |
| Storage Desc Params:          | NULL                                               | NULL                                               |
|                               | serialization.format                               | 1                                                  |
+-------------------------------+----------------------------------------------------+----------------------------------------------------+

Я справился хорошо или это таблица Hive с параметрами Druid? Кто-то может объяснить мне больше о взаимодействиях Улей / Друид?

Спасибо: D

Answer 1

Я думаю, что вы зарегистрировали свой источник данных друидов в улье. Теперь вы можете выполнять свои запросы, используя сервер hive в верхней части этой таблицы.

Ваше определение таблицы мне кажется правильным, я думаю, вам удалось интегрировать данные друидов с hive. Вы можете видеть связанные с друидом свойства в таблице.

Теперь, когда вы запрашиваете таблицу, она будет использовать обработчик в зависимости от запроса, который будет использовать сервер улья вместе с друидом. Он может использовать комбинацию обоих или одного из них на автономной основе для выполнения запроса. Это зависит от того, может ли этот запрос быть преобразован в запрос друида.

Вы можете обратиться к этому документу для получения дополнительной информации о взаимодействиях Улей / Друид: https://cwiki.apache.org/confluence/display/Hive/Druid+Integration (см .: Запрос друида из Улья)