Sq oop import не пропускает заголовки для Avrodatafile, хотя в таблице нет данных - PullRequest
Новая
       107

Sq oop import не пропускает заголовки для Avrodatafile, хотя в таблице нет данных

0 голосов
/ 22 апреля 2020

Данные импортируются из RDMS в HDFS с использованием Sq oop. Формат файла, используемый для данного импорта - «AVRO». Когда я запускаю команду sq oop для нескольких таблиц в соответствии с заданными условиями, в некоторых таблицах число записей равно нулю. Я хочу, чтобы таблицы с числом записей равным нулю не импортировали заголовки из RDMS или создавали файл с 0KB. Но это не так. Он создает файл с заголовками, хотя данных нет.

Может кто-нибудь сказать параметр, который будет добавлен в команду sq oop для достижения этой цели?

Sq oop команда, используемая до сих пор: 

sqoop import -Dmapreduce.job.classloader=true  \
        --connect ${url} \
        --username ${un} \
        --password-alias ${alias} \
        --query "$query$conditions" \
        --m $num_mapper \
        --split-by "$split_by" \
        --target-dir "$target_dir" \
        --delete-target-dir \
        --as-avrodatafile

Sq oop Версия: 1.4.7

...