Метрики для задержки или выполнения контрольных точек - PullRequest
0 голосов
/ 24 февраля 2019

Мы используем Spark 2.3 и столкнулись со странной проблемой.Задание потоковой передачи отлично работает в одной среде, но в другой - нет.

Мы считаем, что в условиях низкой производительности контрольная точка состояния не так эффективна, как другие.

Существуют ли какие-либо метрики, которые мы можем рассмотреть, которые испускает Spark Streaming, которые могут доказать нашу теорию.

...