настройка производительности импорта sqoop с помощью жесткого кодирования граничных значений - PullRequest
Новая
       14

настройка производительности импорта sqoop с помощью жесткого кодирования граничных значений

0 голосов
/ 16 января 2019

Я пытаюсь увеличить время импорта sqoop при выполнении импорта sqoop с разделением по ключам и сопоставителям. Создает запрос на поиск граничного значения (

19/01/09 00:32:37 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: 
  SELECT MIN(TO_TIMESTAMP(USR_ACTN_DT, 'YYYY-MM-DD HH24:MI:SS.FF')), 
         MAX(TO_TIMESTAMP(USR_ACTN_DT, 'YYYY-MM-DD HH24:MI:SS.FF')) 
  FROM DB_schema.TABLENAME 
  WHERE ( USR_ACTN_DT > to_date('2018-12-03 19:45:12','YYYY-MM-DD HH24:MI:SS') )

).

Для меня запрос границы занимает около 12+ часов, чтобы получить ответ, я знаю граничное значение, которое необходимо передать. Есть ли способ передать граничные значения непосредственно в импорт sqoop вместо граничного запроса ..?

1 Ответ

0 голосов
/ 17 января 2019

Поскольку вы знаете граничные значения, которые необходимо передать, вы можете задать эти значения в аргументе --boundary-query как --boundary-query 'select 1,100'

Дайте мне знать, если это не сработает.

...