У меня очень распространенная проблема, но я не могу найти «правильный» или «правильный» способ проверить это
У меня есть простое задание Spark, которое получает события от Кафки (события в формате protobuf), применяет к ним некоторые преобразования и затем сохраняет результат в ES. Я сохраняю отдельные события
Мне нужно знать, как правильно это проверить. Я использую BulkProcessor, поэтому я вручную фиксирую смещения, когда думаю, что они должны быть. Поэтому имеет смысл правильно протестировать этот рабочий процесс, потому что я не хочу терять события
Насколько я понимаю, мне нужно иметь фиктивный экземпляр Kafka, нужно вызвать соответствующую функцию, которая обрабатывает все преобразования, а затем сохранить результат в ES. Однако я не знаю, как все это сделать. Кроме того, я не знаю, как записывать тестовые события в формате protobuf в темы Kafka
P.S. Я НЕ использую Spring Framework