Есть ли способ, с помощью которого мы можем увидеть запрос, запущенный для потока / таблицы в Кафке?

Question

Я хочу видеть запрос, выполняемый для моего потока / таблицы в Kafka.

Create stream foo as select * from bar where distuinguisher='xxx';

 Message                    
----------------------------
 Stream created and running 
----------------------------

Когда кто-то создал поток / таблицу, я могу только запросить поток / таблицу. Есть ли способ, с помощью которого я могу видеть логи c или завершить запрос за потоком.

Answer 1

DESCRIBE EXTENDED даст вам эту информацию. Вы также можете использовать SHOW QUERIES, чтобы просмотреть все запущенные запросы.

Например:

ksql> DESCRIBE EXTENDED FOO;

Name                 : FOO
Type                 : STREAM
Key field            :
Key format           : STRING
Timestamp field      : Not set - using <ROWTIME>
Value format         : JSON
Kafka topic          : FOO (partitions: 1, replication: 1)

 Field   | Type
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- ROWTIME | BIGINT           (system)
 ROWKEY  | VARCHAR(STRING)  (system)
 LOGGER  | VARCHAR(STRING)
 LEVEL   | VARCHAR(STRING)
 TIME    | BIGINT
 MESSAGE | STRUCT<TYPE INTEGER, DESERIALIZATIONERROR STRUCT<ERRORMESSAGE VARCHAR(STRING), RECORDB64 VARCHAR(STRING), CAUSE ARRAY<VARCHAR(STRING)>>, RECORDPROCESSINGERROR STRUCT<ERRORMESSAGE VARCHAR(STRING), RECORD VARCHAR(STRING), CAUSE ARRAY<VARCHAR(STRING)>>, PRODUCTIONERROR STRUCT<ERRORMESSAGE VARCHAR(STRING)>>
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Queries that write from this STREAM
-----------------------------------
CSAS_FOO_1 : CREATE STREAM FOO WITH (KAFKA_TOPIC='FOO', PARTITIONS=1, REPLICAS=1) AS SELECT *
FROM KSQL_PROCESSING_LOG KSQL_PROCESSING_LOG
EMIT CHANGES;

For query topology and execution plan please run: EXPLAIN <QueryId>

Local runtime statistics
------------------------


(Statistics of the local KSQL server interaction with the Kafka topic FOO)
ksql>

ksql> SHOW QUERIES;

 Query ID   | Kafka Topic | Query String
-------------------------------------------------------------------------------------------------------------
 CSAS_FOO_1 | FOO         | CREATE STREAM FOO WITH (KAFKA_TOPIC='FOO', PARTITIONS=1, REPLICAS=1) AS SELECT *
FROM KSQL_PROCESSING_LOG KSQL_PROCESSING_LOG
EMIT CHANGES;
-------------------------------------------------------------------------------------------------------------
For detailed information on a Query run: EXPLAIN <Query ID>;
ksql>