Как преобразовать все поля меток времени при использовании Kafka Connect? - PullRequest
Новая
       12

Как преобразовать все поля меток времени при использовании Kafka Connect?

0 голосов
/ 01 апреля 2019

Я пытаюсь преобразовать все поля меток времени в строковый тип в формате yyyy-MM-dd HH:mm:ss.

Чтобы преобразовать несколько полей, мне нужно создать преобразование для каждого из них в отдельности. 

...
"transforms":"tsFormat1,tsFormat2,...,tsFormatN",
"transforms.tsFormat1.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.tsFormat1.target.type": "string",
"transforms.tsFormat1.field": "ts_col1",
"transforms.tsFormat1.format": "yyyy-MM-dd HH:mm:ss",
"transforms.tsFormat2.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.tsFormat2.target.type": "string",
"transforms.tsFormat2.field": "ts_col2",
"transforms.tsFormat2.format": "yyyy-MM-dd HH:mm:ss",
...
"transforms.tsFormatN.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.tsFormatN.target.type": "string",
"transforms.tsFormatN.field": "ts_colN",
"transforms.tsFormatN.format": "yyyy-MM-dd HH:mm:ss",
...

Есть ли способ применить одно преобразование ко всем столбцам меток времени?

Я пытался, 

...
"transforms":"tsFormat",
"transforms.tsFormat.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.tsFormat.target.type": "string",
"transforms.tsFormat.field": "ts_col1, ts_col2,..., ts_colN",
"transforms.tsFormat.format": "yyyy-MM-dd HH:mm:ss",
...

и 

...
"transforms":"tsFormat",
"transforms.tsFormat.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.tsFormat.target.type": "string",
"transforms.tsFormat.field": "ts_col1",
"transforms.tsFormat.field": "ts_col2",
...
"transforms.tsFormat.field": "ts_colN",
"transforms.tsFormat.format": "yyyy-MM-dd HH:mm:ss",
...

Что было бы еще лучше, так это что-то вроде совпадения числового типа "numeric.mapping": "best_fit". Так же, как numeric.mapping применяется ко всем числовым полям (без необходимости вручную указывать имена полей), чтобы попытаться найти лучший числовой тип, есть ли что-то подобное, что может применить преобразование или строковый формат для всех полей отметки времени?

...