В пользовательском интерфейсе Spark похоже, что приложение всегда находится на 10% индикатора выполнения.
Снимок экрана Spark UI
To confirm real progress, I have to open the job on the UI, confirm the job/query in progress and estimate it from my experience of that specific job.
Spark job UI screenshot
введите описание изображения здесь
Я хотел бы иметь возможность обновлять этот прогресс с помощью кода scala, чтобы я мог действительно знать фактический прогресс.