Оптимизация на основе затрат на временных таблицах - PullRequest
0 голосов
/ 14 февраля 2020

У меня есть несколько больших фреймов данных, которые будут участвовать во множестве левых внешних объединений. Я преобразовал эти кадры данных во временные таблицы, используя createOrReplaceTempView в pyspark. Теперь для оптимизации производительности этих объединений я хочу включить оптимизацию на основе затрат в spark, но я не могу выполнить анализ статистики вычислений таблиц для временных таблиц, созданных с помощью createOrReplaceTempView. Какие-нибудь мысли ?

...