Какие типы данных допускаются с опцией sqoop "--map-column-java"? - PullRequest
Новая
       13

Какие типы данных допускаются с опцией sqoop "--map-column-java"?

1 голос
/ 12 мая 2019

Я хочу использовать sqoop import для импорта данных из SQL Server, однако у меня возникают некоторые проблемы с преобразованием типов данных, и я хочу использовать «--map-column-java» для решения этой проблемы.

На всякий случай, если кто-то захочет предложить "--map-column-hive".Я не могу, потому что я импортирую в "--as-parquetfile";поэтому я должен привести типы данных столбцов перед вставкой в ​​файл.

Итак, какие типы данных допускаются с параметром sqoop "--map-column-java"?

PS Особенно я хочу знать тип данных "datetime", который работает с "--map-column-java"

1 Ответ

0 голосов
/ 14 мая 2019

Практически учат загружать из базы данных в паркет через sqoop, сохраняя исходные типы данных с точки зрения типов данных.Например, вы не можете загрузить метку времени, потому что она не поддерживается.

Я предлагаю вам следующий обходной путь:

  1. Загрузка с помощью sqoop со всей строкой типов данных;
  2. Вставить из таблицы 1 (со всей строкой типов данных) в таблицу 2, используя приведение (в качестве метки времени, в виде десятичного числа ... и т. Д.);

Пример: 

--map-column-java "ID=String,NR_CARD=String,TIP_CARD_ID=String,CONT_CURENT_ID=String,AUTORIZ_CONTURI_ID=String,TIP_STARE_ID=String,DATA_STARE=String,COMIS=String,BUGETARI_ID=String,DATA_SOLICITARII=String,DATA_EMITERII=String,DATA_VALABILITATII=String,TIP_DESCOPERIT_ID=String,BRANCH_CODE_EMIT=String,ORG_ID=String,DATA_REGEN=String,FIRMA_ID=String,VOUCHER_BLOC=String,CANAL_CERERE=String,CODE_BUG_OPER=String,CREATED_BY=String,CREATION_DATE=String,LAST_UPDATED_BY=String,LAST_UPDATE_DATE=String,LAST_UPDATE_LOGIN=String,IDPAN=String,MOTIV_STARE_ID=String,DATA_ACTIVARII=String" \

Таким образом, у вас будут все типы данных, правильно загруженные из источника.

...