Почему мы видим пики во время выполнения нашего предварительного запроса? - PullRequest
0 голосов
/ 15 марта 2019

мы пытаемся отладить, почему время выполнения предварительных запросов значительно меняется в течение дня.Мы видим несколько значительных всплесков, некоторые в рабочее время, а некоторые вне рабочего времени.Мы используем EMR версии 5.14 и Presto версии 0.194.Наши данные хранятся в S3 с использованием паркетных файлов, созданных Hive.На приведенном ниже графике показано время выполнения одного и того же запроса во времени с использованием интерфейса командной строки Presto.Будем весьма благодарны за любые идеи / предложения о том, на чем мы должны сосредоточиться или что может вызвать эти спайкиСпасибо!

enter image description here

1 Ответ

0 голосов
/ 25 апреля 2019

Отправка сообщения на случай, если у кого-то еще возникнет эта проблема. В итоге мы отключили статистику кустов в hive.properties, и это улучшило производительность.

...