Привет, мне было интересно, можно ли манипулировать временем обработки в модульных тестах, чтобы позволить тестирование поздних данных в Spark Structured Streaming.
Я вставляю данные в виде последовательности в MemoryStream в форме : case class LineWithTimestamp(line: String, timestamp: Timestamp). При вставке LineWithTimestamp("a b b a", from(now.plus(ofSeconds(4)))) я хочу, чтобы это событие произошло через несколько секунд, чтобы я мог проверить допустимые задержки / водяные знаки.
Заранее спасибо.