Предикаты не распространяются на все таблицы в Spark join (в файлах паркета) - PullRequest
0 голосов
/ 07 мая 2018

У меня есть представление, где я объединяю несколько таблиц.В представлении есть предложение where.Но это только подталкивается к одной из таблиц, которые объединены.Другие таблицы полностью загружены.

Есть ли способ вставить предложение where для всех файлов паркетных файлов?

РЕДАКТИРОВАТЬ:

Объединениевыглядит примерно так:

CREATE VIEW v_test as SELECT * 
FROM t1 LEFT JOIN t2 
ON (t1.c1 = t2. c1)

LEFT JOIN t3
ON (t1.c1 = t3.c1)

Когда я сейчас это сделаю:

SELECT * FROM v_test WHERE c5 = 0

Предикат c5 equals 0 передается только в файлы паркета таблицы t1.Я могу видеть это из плана объяснения.Таблицы t2 и t3 полностью отсканированы.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...