Публикация DataFrame в Kafka

Question

• 1000 1004 * Теперь я хочу опубликовать sh его в Kafka, следующий код отлично работает:

df2.selectExpr("CAST(key AS STRING) as key", "CAST(value AS STRING) as value")
      .write.format("kafka")
      .option("kafka.bootstrap.servers", "host:9092")
      .option("topic", "test").save()

Однако я sh публикую sh с помощью более сложного стерилизатора - в моем случае нестандартный.

Как это сделать? Другими словами, вместо публикации строк я sh публикую sh объект.

Мой источник данных - Vertica, и я использую коннектор Vertica для получения событий .

Answer 1

вы можете использовать foreachPartition для публикации sh данных во внешнем источнике произвольным образом. Таким образом, вы будете создавать только одно соединение для каждого раздела вместо записи, если вы используете foreach.