Как получить все исторические записи в K SQL Кафка - PullRequest
0 голосов
/ 17 января 2020

Я создал поток, и я пишу K SQL в этом потоке. Но когда я запускаю этот запрос и данные поступают, я вижу записи, но когда я не получаю данные и запускаю этот запрос, я не вижу более старых записей.

Так что это мой K SQL

LOG_DIR=./ksql_logs /usr/local/confluent/bin/ksql http://localhost:8088


CREATE STREAM AUDIT_EVENT ( ID VARCHAR , VERSION VARCHAR , ACTION_TYPE VARCHAR , EVENT_TYPE VARCHAR , CLIENT_ID VARCHAR , DETAILS VARCHAR , OBJECT_TYPE VARCHAR , UTC_DATE_TIME VARCHAR , POINT_IN_TIME_PRECISION VARCHAR , TIME_ZONE VARCHAR , TIMELINE_PRECISION VARCHAR , GROUP_ID VARCHAR , OBJECT_DISPLAY_NAME VARCHAR , OBJECT_ID VARCHAR , USER_DISPLAY_NAME VARCHAR , USER_ID VARCHAR , PARENT_EVENT_ID VARCHAR , NOTES VARCHAR , SUMMARY VARCHAR , AUDIT_EVENT_TO_UTC_DT VARCHAR , AUDIT_EVENT_TO_DATE_PITP VARCHAR , AUDIT_EVENT_TO_DATE_TZ VARCHAR , AUDIT_EVENT_TO_DATE_TP VARCHAR ) WITH (KAFKA_TOPIC='AVRO-AUDIT_EVENT', VALUE_FORMAT='AVRO');


SELECT * FROM "AUDIT_EVENT" WHERE CLIENT_ID='fgh-5d1e-17a2-9749-0e4d00';

Я создал таблицу и попробовал, но я также не могу просмотреть свои старые записи.

Можно ли как-то записывать записи, когда я запускаю этот запрос?

1 Ответ

1 голос
/ 17 января 2020

SET 'auto.offset.reset' = 'earliest' перед оператором запроса SELECT.

...