org. apache .kafka.common.errors.RecordTooLargeException - удаление сообщения с размером, превышающим максимальный предел, и отправка в другую тему кафки

Question

org. apache .kafka.common.errors.RecordTooLargeException : В [Partition = Offset] есть некоторые сообщения: {binlog-0 = 170421}, размер которых больше размера размер выборки 1048576 и, следовательно, не может быть возвращен.

Привет, я получаю указанное выше исключение, и мой apache конвейер данных луча не удается. Я хочу, чтобы программа чтения кафки игнорировала сообщение с размером, превышающим размер по умолчанию, и, может быть, pu sh отправляет его в другую топи c для целей регистрации. исключение.

Задачи приемника Kafka Connect игнорируют пределы допуска

Эта ссылка говорит о том, что вышеуказанные свойства могут использоваться только во время преобразования или сериализации.

Is Есть какой-то способ решить проблему, с которой я сталкиваюсь. Любая помощь будет оценена.

Answer 1

Я хочу, чтобы программа чтения кафки игнорировала сообщение размером больше, чем размер по умолчанию

С Beam я не уверен, что вы сможете зафиксировать эту ошибку и пропустить ее. Вам нужно будет go к необработанным экземплярам Kafka Consumer / Producer для обработки этой логики try-catch c

и, может быть, pu sh в другую топи c для регистрации .

Это невозможно без изменения настроек брокера , чтобы сначала разрешать сообщения большего размера, и , а затем изменения свойств клиента.

errors.* свойства для Kafka Connect API, а не для Потребителя / Производителя (например, Beam)

Связанные - Как я могу отправлять большие сообщения с Kafka (более 15 МБ)?