Выберите, где ключ раздела слишком медленный с лимитом на Spark Sql - PullRequest
0 голосов
/ 06 марта 2019

Я выполняю запрос, подобный select <column> from <mytable> where <partition_key> = <value> limit 10

, и он НАВСЕГДА выполняется.Я посмотрел на физический план и увидел HiveTableScan там, и это выглядело подозрительно, значит ли это, что запрос сканирует всю таблицу?Я ожидал, что запрос к

A.точно просканируй 1 раздел и не более

B.завершить сканирование, как только он вернет 10 строк

Мое понимание неверно?Как заставить искру выполнить именно это?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...