Использование kafka для получения данных для clickhouse

Question

Я хочу использовать интеграцию kafka для clickhouse.Я пытался использовать официальный учебник, как здесь !Вся таблица была создана.Я запускаю кафку на сервере.Затем запустите Kafka Producer и напишите в командной строке объект json, как строку в базе данных.Вот так:

{"timestamp":1554138000,"level":"first","message":"abc"}

Я проверил потребителя кафки. Получил объект.Но когда я проверял таблицы в моей базе данных clickhouse, там были пустые строки.Есть идеи, что я сделал не так?

Answer 1

Очень жаль.Был мой провал.Перед запуском кликхаус и кафка.Я протестировал отправку простых сообщений в тему с помощью kafka.И Clickhouse попытался разобрать его.Я просто создаю новую тему, и теперь все работает.Спасибо!

Answer 2

Это похоже на известную проблему , которая произошла в одной из последних версий CH, попробуйте добавить дополнительный параметр kafka_row_delimiter в конфигурацию двигателя:

CREATE TABLE queue (
 timestamp UInt64,
 level String,
 message String
) 
ENGINE = Kafka SETTINGS
  kafka_broker_list = 'localhost:9092',
  kafka_topic_list = 'topic',
  kafka_group_name = 'group1',
  kafka_format = 'JSONEachRow',
  kafka_row_delimiter = '\n';