создать поток на тему кафки используя KSQL - PullRequest
Новая
       20

создать поток на тему кафки используя KSQL

0 голосов
/ 25 марта 2019

Ниже мой образец логина из темы кафки 

2019-03-04T08:53:03.023Z "cd8cbe" 100.212.212.212 - - [20/Feb/2019:12:13:33 +0000] "GET http://dl-mysite.com/drm/PRIORITY1080/HINDI_MOVIES/somemovie.mp4/video/avc1/4/seg-1281.m4s HTTP/1.1" 200 325040 "-" "Dalvik/2.1.0 (Linux; U; Android 6.0; Le X509 Build/DHXOSOP5801911241S)" "256" "0.000"

Я пытаюсь создать поток по вышеуказанной теме, используя KSQL. Ниже приведен скрипт, который я использовал для создания потока. После запуска приведенного ниже сценария создания потока он возвращает мне сообщение «Поток создан», однако оператор select (select * from test_duplicate_stream;) ничего не возвращает. 

CREATE STREAM test_duplicate_stream (logArrivalTime varchar,edgeid varchar,ip varchar,col1_empty varchar,col2_empty varchar, eventdate varchar,url varchar,response_code int,response_length BIGINT,col3_empty varchar,user_agent varchar,request_length varchar, response_time varchar) WITH (kafka_topic='test_duplicate',VALUE_FORMAT='DELIMITED');

Я считаю, что «DELIMITED» - неправильное значение для использования здесь, так как мои поля не разделены запятыми, а разделены пробелами. Как правильно создать поток для моей logline?

1 Ответ

0 голосов
/ 25 марта 2019

KSQL в настоящее время поддерживает:

  • JSON
  • Разделенные запятыми (с разделителями)
  • Avro

Если ваши данные не в одном из указанных выше форматов, вы не сможете их обработать, не изменив сначала сериализацию.

См. Также Замечания по устранению неполадок в KSQL , когда ваш запрос не возвращает данные.

...