Есть ли способ установить PostgreSQL Optimizer в Sqoop? - PullRequest
Новая
       55

Есть ли способ установить PostgreSQL Optimizer в Sqoop?

0 голосов
/ 04 ноября 2019

Я пытаюсь запустить задание sqoop для загрузки данных из postgresql в hdfs, и я застрял в какой-то момент.

Sqoop добавляет " AND (1 = 0) " кконец моего оператора " WHERE " для извлечения метаданных непосредственно перед приемом. 

sqoop import 
--connect jdbc:postgresql://randomtexthere.com:5432/test 
--username user
-P 
--query 
"
SELECT * 
FROM table1 pr 
   INNER JOIN 
   table2 fr 
   ON pr.id = fr.id 
WHERE fr.another_id > 12345 AND fr.another_id < 123456 AND \$CONDITIONS
" 
--hcatalog-database test
--hcatalog-storage-stanza "STORED AS PARQUET" 
--hcatalog-table table1--split-by  id

После добавления вышеуказанной команды запрос никогда не завершается. (как в Sqoop, так и в DBeaver)

Однако этот запрос работает только после того, как я установил SET OPTIMIZER = ON (в DBeaver) 

SET OPTIMIZER = ON;

SELECT * 
FROM table1 pr 
   INNER JOIN 
   table2 fr 
   ON pr.id = fr.id 
WHERE fr.another_id > 12345 AND fr.another_id < 123456 AND (1=0);

Я ищу решение для установки параметра оптимизатора в моемsqoop сессия.

Есть ли способ сделать это?

...