Аккумуляторы не отображаются в интерфейсе Spark

Question

Я внедрил аккумуляторы, чтобы увидеть количество событий в моем коде. Но я не вижу их в интерфейсе Spark. Я использую следующие вещи:

val  count_Of_2317508_1 = sc.longAccumulator("count_Of_2317508_1")
 count_Of_2317508_1.add(1) 

при некоторых условиях.

Достаточно ли этого для отображения в интерфейсе Spark?

Answer 1

Вы можете создавать аккумуляторы с именем или без имени, но только именованные аккумуляторы отображаются в веб-интерфейсе (на вкладке Этапы для данного этапа).

Поскольку вы уже создали именованный аккумулятор, он должен прийти.

val counter = sc.longAccumulator("counter")