Я хочу использовать потоковую запись для записи данных в kafka topi c. Чтобы гарантировать, что данные, записанные в kafka, появляются только один раз, я создаю продюсера для каждого исполнителя с указанием caction.id. Вопрос в том, что KafkaProducer в зависимости spark-streaming-kafka не имеет метода, подобного initTransactions(), поэтому мне нужно использовать KafkaProducer в зависимости kafka-client.
я добавил KafkaProducer в kafka-client в jar, однако, когда я запускаю jar, все равно выдается ошибка типа java.lang.NoSuchMethodError: org.apache.kafka.clients.producer.KafkaProducer.initTransactions(). кажется, что он все еще использует банку, развернутую на кластере искр. что я должен сделать, чтобы исправить это? я буду признателен, если вы сможете сделать мне одолжение.