Искра - предикат куду

Question

Я использую kudu и spark streaming для панели мониторинга в реальном времени, моя проблема в том, что когда я присоединяюсь к пакету из spark streaming с таблицей kudu, он не выполняет предикатное нажатие на него и занимает 2-3 секунды, чтобыполучить всю таблицу в искре и затем отфильтровать ее. Есть ли способ избежать этого?

Спасибо,

Александру

Answer 1

1.Kudu - это механизм хранения столбцов, поэтому вы можете выбрать, какой столбец вам нужен. Он может уменьшить количество данных, извлекаемых из kudu.

поддержка предиката предиката 2.kudu>, <,> =, <=, =, BETWEEN или IN, может быть, вы можете кэшировать данные после фильтрации данных из kudu. И может произойти нажатие предиката. </p>