Невозможно перенести данные из темы кафки в кликхаус - PullRequest
Новая
       26

Невозможно перенести данные из темы кафки в кликхаус

0 голосов
/ 20 сентября 2019

У меня есть данные в формате STRING в теме kafka. Теперь, когда я создаю таблицы Clickhouse, как это 

DROP TABLE IF EXISTS conv_kafka;
CREATE TABLE conv_kafka (
id String,
attachments Array(String)
)
ENGINE = Kafka SETTINGS
    kafka_broker_list = 'localhost:9092',
    kafka_topic_list = 'test',
    kafka_group_name = 'group_test',
    kafka_format = 'CSV',
    kafka_row_delimiter = '\n';

DROP TABLE IF EXISTS conv;
CREATE TABLE conv (
    id String,
    attachments Array(String)
)ENGINE = MergeTree() ORDER BY (id);

DROP TABLE IF EXISTS conv_mview;
CREATE MATERIALIZED VIEW conv_mview TO conv AS SELECT * FROM conv_kafka;

В Clickhouse не поступает никаких данных.PS: я пробовал JSONEachRow, форматы TSV.Данные поступают в случае JSONEachRow, но все значения равны нулю.

Справочная информация: я взял данные из mongodb в тему kafka, и поэтому формат там STRING.Создание потока в формате «DELIMITED» или «JSON» также не работает.в 'SHOW STREAMS' формат показа json или с разделителями, но формат темы остается тем же, т.е. STRING

...