Spark createOrReplaceTempView стоимость или производительность и другие последствия - PullRequest
0 голосов
/ 16 марта 2020

У меня есть временный вид, созданный в al oop. Это временное представление используется в последующих запросах.

for row in manual_est_query_results_list:
    manual_est_query_results.createOrReplaceTempView("manual_estimates")

Иногда размер списка manual_est_query_results_list составляет около 500 строк и приводит к 500 строкам в интерфейсе Spark, вкладка SQL, как показано ниже. Время exe c указано в миллис, но это загромождает интерфейс, затрудняя навигацию при отладке проблем. На что следует обратить внимание, если я хочу вывести его из л oop

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...