Как опубликовать sh ** вложений ** (pdf, xls, xml ..) в ** kafka topi c* - PullRequest
0 голосов
/ 13 июля 2020

Как опубликовать sh Приложения (pdf, xls, xml, jpg ..) к kafka topi c. В настоящее время мы публикуем на Kafka формат AVRO. AVRO поддерживает прикрепление к нему файла?

1 Ответ

0 голосов
/ 13 июля 2020

Темы Kafka содержат информацию в виде двоичных данных. Таким образом, чтобы отправлять записи в kafka, они должны быть сериализованы в двоичный формат и десериализованы при чтении из любого topi c для правильного формата.

Avro делает эту операцию простой и обеспечивает прямую / обратную совместимость (с конфигурацией и схема). Но я не думаю, что avro поддерживает ввод файлов. В кластере kafka можно использовать более одного формата. Лучшее, что вы можете сделать, - это создать собственный сериализатор / десериализатор для вашего варианта использования, когда сериализатор будет считывать данные и преобразовывать их в двоичный код наоборот. И используйте его при вставке / чтении из этого конкретного topi c (s).

Также, если вы используете реестр схем с AVRO, вы не можете использовать его с вашим настраиваемым сериализатором / десериализатором.

...