Использование kafka для получения данных для clickhouse - PullRequest
0 голосов
/ 01 апреля 2019

Я хочу использовать интеграцию kafka для clickhouse.Я пытался использовать официальный учебник, как здесь !Вся таблица была создана.Я запускаю кафку на сервере.Затем запустите Kafka Producer и напишите в командной строке объект json, как строку в базе данных.Вот так:

{"timestamp":1554138000,"level":"first","message":"abc"}

Я проверил потребителя кафки. Получил объект.Но когда я проверял таблицы в моей базе данных clickhouse, там были пустые строки.Есть идеи, что я сделал не так?

Ответы [ 2 ]

1 голос
/ 03 апреля 2019

Очень жаль.Был мой провал.Перед запуском кликхаус и кафка.Я протестировал отправку простых сообщений в тему с помощью kafka.И Clickhouse попытался разобрать его.Я просто создаю новую тему, и теперь все работает.Спасибо!

0 голосов
/ 01 апреля 2019

Это похоже на известную проблему , которая произошла в одной из последних версий CH, попробуйте добавить дополнительный параметр kafka_row_delimiter в конфигурацию двигателя:

CREATE TABLE queue (
 timestamp UInt64,
 level String,
 message String
) 
ENGINE = Kafka SETTINGS
  kafka_broker_list = 'localhost:9092',
  kafka_topic_list = 'topic',
  kafka_group_name = 'group1',
  kafka_format = 'JSONEachRow',
  kafka_row_delimiter = '\n';
...