Код клиента Kafka управляет повторной отправкой сообщений в случае сбоя. Вам не нужно писать тесты для такого поведения - в результате вы можете go пробить настоящую кроличью нору, протестировав ядро Java поведения класса и т.д. c.
Однако вы можете выключить и перезапустить брокер с помощью
embeddedKafkaBroker.getKafkaServers().forEach(KafkaServer::shutdown);
embeddedKafkaBroker.getKafkaServers().forEach(KafkaServer::awaitShutdown);
// Send messages
embeddedKafkaBroker.getKafkaServers().forEach(KafkaServer::startup);