Друид не записывает данные в файл после успешного запуска запроса друида cive ctas - PullRequest
Новая
       24

Друид не записывает данные в файл после успешного запуска запроса друида cive ctas

0 голосов
/ 05 декабря 2018

Я использовал следующие свойства: 

hive.druid.bitmap.type=roaring
hive.druid.broker.address.default=brokernode:8888
hive.druid.coordinator.address.default=coordinatorenode:8081
hive.druid.http.numConnection=20
hive.druid.http.read.timeout=PT10M
hive.druid.indexer.memory.rownum.max=75000
hive.druid.indexer.partition.size.max=1000000
hive.druid.indexer.segments.granularity=DAY
hive.druid.maxTries=5
hive.druid.metadata.base=druid
hive.druid.metadata.db.type=mysql
hive.druid.metadata.password=druid
hive.druid.metadata.uri=jdbc:mysql://mysqlhost:3306/druid? 
createDatabaseIfNotExist=true
hive.druid.metadata.username=druid  
hive.druid.passiveWaitTimeMs=30000
hive.druid.select.distribute=true
hive.druid.select.threshold=10000
hive.druid.sleep.time=PT10S
hive.druid.storage.storageDirectory=/apps/druid/warehouse
hive.druid.working.directory=/tmp/druid-indexing

Помимо этого, я получаю следующую трассировку стека после успешного выполнения запроса, но количество выходных записей равно 0.

INFO: SHUFFLE_PHASE_TIME: 644 INFO: SPILLED_RECORDS: 999 INFO: TaskCounter_Reducer_3_OUTPUT_out_Reducer_3: INFO: OUTPUT_RECORDS: 0 INFO: стартовая задача [Этап-2: DEPENDENCY_COLLECTION] в последовательном режиме INFO: запуск задачи [каталог этапов-0: INFO]: перемещение в режим: каталог данных в режиме MOVE/dm-hdp2-5-master.datametica.com:8020/apps/hive/warehouse/relations_druid_hive4 от hdfs: //dm-hdp2-5-master.datametica.com: 8020 / tmp / hive / spark-hive_hive_2018-12-05_12-14-14_696_3316986515020019907-1 / -ext-10002 ИНФОРМАЦИЯ: запуск задачи [Этап-4: DDL] в последовательном режиме ИНФОРМАЦИЯ: запуск задачи [Этап-3: СОСТОЯНИЕ] в последовательном режиме ИНФО: таблица default.relations_druid_hive4 статистика: [numFiles = 0, numRows = 999, totalSize = 0, rawDataSize = 0] ИНФОРМАЦИЯ: Сброс контекста вызывающего абонента в HIVE_SSN_ID: 73f1210d-e7af-4524-a933-aaa75320be6b ИНФОРМАЦИЯ: Завершено выполнениекоманда ting (queryId = hive_20181205121414_f8a6af66-c0a2-46d9-8dce-1429909f51a8);Время выполнения: 173,166 секунд. ИНФОРМАЦИЯ: ОК. Строки не затронуты (173,617 секунд)

Для следующего запроса: 

CREATE TABLE relations_druid_hive4
STORED BY 'org.apache.hadoop.hive.druid.DruidStorageHandler'
AS
SELECT
  cast(start_time as timestamp) `__time`,
  cast(query_id as string) query_id,
  cast(start_time as string) start_time,
  cast(cpu_time as string) cpu_time,
  cast(user_id as string) user_id,
  cast(IO_count as string) IO_count
FROM
  19_apr.relations r
  limit 999;
...