толкая большие файлы в тему Кафки через производителя - PullRequest
0 голосов
/ 25 сентября 2018

Файлы загружаются через клиент в папку на сервере.он непрерывно загружает файлы с другого клиента с помощью TUS API (File resumeabl upload).размер файлов от 5 мб до 100 мб.Теперь я хочу отправить эти файлы в Кафку-производителя асинхронно через Java, но не могу этого сделать.Один вариант, который я попробовал с папкой для часов, но не уверен, насколько он эффективен в производстве.Любая помощь приветствуется.

1 Ответ

0 голосов
/ 25 сентября 2018

Kafka накладывает ограничение на размер сообщения, поэтому вы не сможете поместить что-то большее, чем это.Вы можете настроить его на max.message.bytes, но у него могут быть побочные эффекты (например, объем памяти сервера kafka).

У вас также есть другие альтернативы:

  • разбиение сообщения на части исоздание умного потребителя, который собирал бы фрагменты при получении их
  • , сохраняя данные во внешней службе (например, redis / что-то sql) и передавая только указатель на внешнюю службу

Некоторые из ограничений, связанных с ними, описаны в этой статье

...