Записать данные Kafka в двоичный файл с помощью коннектора FileStreamSink

Question

Я пытаюсь сделать резервную копию данных Kafka с помощью коннектора FileStreamSink. Я знаю, что есть лучшие варианты, но в моей компании уже есть инфраструктура резервного копирования файлов (на основе NetApp), поэтому я хотел бы записать данные Kafka в двоичный файл и сделать резервную копию файла.

Как данные, хранящиеся в Kafkaзашифрован, поэтому у нас нет схемы для использования или преобразования. Я пытался использовать этот параметр, но, похоже, он не работает должным образом:1004 * У вас есть предложения по этому делу? Спасибо.

Answer 1

См. Мой ответ на Kafka connect - строка не может быть приведена к struct

Но, по сути, FileStreamSink может записывать только строковые значения записей и не предназначена для производственного использования, носкорее в качестве примера для написания ваших собственных коннекторов приемника, что потребует от вас реализации коннектора источника для считывания этих двоичных данных обратно в тему

Если вы не хотите реализовывать свой собственный коннектор, то вынеобходимо внедрить какого-либо другого потребителя или посмотреть на зеркалирование ваших данных во вторичный резервный кластер Kafka.

Как упоминалось в другом месте, резервное копирование только темы не создает резервные копии ее конфигураций или каких-либо групп потребителей, связанных с этой темой.