Является ли хорошей практикой использование метода Spark show () при работе с Spark?

Question

Используя DataFrame.show() API, мы можем взглянуть на базовые данные.

Хорошо ли использовать этот метод в производстве искровых работ?

В принципе, я знаю, что мы можем прокомментировать этот вид кода перед началом работы, но если мы просто сохраним его, будет ли это хорошей практикой?
Или это вызовет проблемы с производительностью?

Answer 1

Команда show() является действием .

Добавление ненужного действия в код может вызвать помехи оптимизатору Spark, так как оптимизатор может изменить порядок преобразования, но должен вызватьдействие каждый раз, когда их действие.
т.е. использование ненужных действий ограничивает работу оптимизатора.

См. Действия против преобразований