Печать данных из соединителей источника и приемника - PullRequest
Новая
       5

Печать данных из соединителей источника и приемника

0 голосов
/ 19 сентября 2018

У меня установлены разъемы источника и приемника с использованием слияния, и они работают нормально.но когда я вижу журналы докера, используя 

docker logs -f container-name

, вывод выглядит примерно так 

[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,573] INFO WorkerSourceTask{id=mariadb-source-0} Finished commitOffsets successfully in 2 ms (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,194] INFO WorkerSinkTask{id=oracle-sink-0} Committing offsets asynchronously using sequence number 1077: {faheemuserdbtest-0=OffsetAndMetadata{offset=7, metadata=''}} (org.apache.kafka.connect.runtime.WorkerSinkTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTas

, но это не фактические данные, проходящие по темам, есть ли способ, которым я могураспечатать эти данные в журналах?потому что я перемещаю эти журналы на приборную панель кибана.да, я могу читать данные из темы Кафки, но это не мой сценарий.

Ответы [ 2 ]

0 голосов
/ 19 сентября 2018

В зависимости от соединителя, если вы включили ведение журнала TRACE в свойствах Connector Log4j, вы можете видеть сообщения.

Если используются образы док-станции Confluent, существуют некоторые CONNECT_LOG4J_LOGGERS переменные среды для управления этим

Если вам нужны фактические данные JDBC в Elasticsearch, вы обычно устанавливаете приемник Elasticsearch, хотя вместо того, чтобы анализировать их из этих журналов

0 голосов
/ 19 сентября 2018

Нет, вы не можете видеть эти данные в журналах.

Соединители не распечатывают фактические данные, скопированные вокруг.Если у вас есть такое требование, вам, вероятно, придется изменить механизм ведения журнала в исходном коде соединителя источника и приемника и настроить его в соответствии с вашими требованиями.

...