RecordTooLargeException в Spark * Structured * Streaming

Question

Я продолжаю получать это сообщение об ошибке:

The message is 1169350 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

Как указано в других сообщениях StackOverflow, я пытаюсь установить конфигурацию «max.request.size» в Producer следующим образом:

.writeStream
.format("kafka")
.option(
  "kafka.bootstrap.servers",
  conig.outputBootstrapServer
)
.option(ProducerConfig.MAX_REQUEST_SIZE_CONFIG, "10000000")

Но это не работает. Правильно ли я это устанавливаю? Есть ли другой способ установить это свойство в Spark Structured Streaming?

Answer 1

Если я помню, вы должны добавлять ко всем свойствам kafka префикс «kafka.». Не могли бы вы попробовать это?

.option(s"kafka.${ProducerConfig.MAX_REQUEST_SIZE_CONFIG}", "10000000")