batch duration в течение 1 минуты говорит вам, что ваше потоковое приложение Spark работает партиями по 1 минуте, что означает, что оно планирует СДР каждую минуту. Вы устанавливаете эту продолжительность в своем коде при создании SparkSession.
processing time сообщает, что Spark потребовалось 34 секунды для обработки всех входных данных (предоставляется как input data size).
duration дает вам понимание времени, которое потребовалось для завершения sh конкретной работы в вашем приложении.