Предикат Push Down против Bloom Filters

Question

При поиске оптимизации запросов для больших данных, особенно файла ORC, II натолкнулся на две возможности: предикатное нажатие и Bloom Filters.

Предикатное нажатие помогает нам избежать чтения ненужных полос, что помогает сократить ввод-вывод, но мне кажется, что Bloom Filter также служит той же цели, кроме приведенной ниже.

для предиката push down, нам не нужно явно создавать какие-либо артефакты при записи файла ORC, тогда как для фильтров Bloom нам нужнонастроить столбцы при записи в файл ORC.

Запросить предложения, чтобы лучше понять меня.

Спасибо, Сантош

Answer 1

Фильтры Блума используются предикатом push down.Функция Predicate push down использует статистику столбцов главным образом для пропуска групп строк и сведения к минимуму числа прочитанных строк.Если используются фильтры Блума, то предикат push down может минимизировать количество читаемых строк.