Экспорт таблицы Impala из HDFS в MySQL - PullRequest
Новая
       107

Экспорт таблицы Impala из HDFS в MySQL

0 голосов
/ 22 февраля 2020

Я пытаюсь использовать Sq oop для экспорта таблицы импалы из HDFS в MySQL. Таблица уже была создана в MySQL, и схема двух таблиц должна совпадать. 

Impala table information: 
1   start_date  string  
2   start_station_code  string  
3   end_date    string  
4   end_station_code    string  
5   duration_sec    int 
6   is_member   int 
7   cnt bigint  

Impala table sample:
2019-05-05 14:07:42100022019-05-05 14:31:087143140611322
2019-05-08 17:51:57100022019-05-08 17:55:29705221101322
2019-05-05 14:07:40100022019-05-05 14:31:087143140711322
2019-05-07 09:55:48100022019-05-07 10:02:28672439911322
2019-05-03 06:54:38100022019-05-03 06:59:51705231201322
2019-05-07 09:56:33100022019-05-07 10:02:17705234311322
2019-05-05 14:06:40100022019-05-05 14:18:04642768411322
2019-05-01 08:54:36100022019-05-01 08:58:20705222301322
2019-05-02 09:17:22100022019-05-02 09:22:16692129401322
2019-05-02 09:16:37100022019-05-02 09:19:30705217201322
2019-05-06 07:09:54100022019-05-06 07:18:45608453111322

MySQL Table information:
+--------------------+-------------+------+-----+---------+-------+
| Field              | Type        | Null | Key | Default | Extra |
+--------------------+-------------+------+-----+---------+-------+
| start_date         | varchar(10) | YES  |     | NULL    |       |
| start_station_code | varchar(20) | YES  |     | NULL    |       |
| end_date           | varchar(20) | YES  |     | NULL    |       |
| end_station_code   | varchar(20) | YES  |     | NULL    |       |
| duration_sec       | int(11)     | YES  |     | NULL    |       |
| is_member          | int(11)     | YES  |     | NULL    |       |
| cnt                | bigint(20)  | YES  |     | NULL    |       |
+--------------------+-------------+------+-----+---------+-------+



Export code:
sqoop export --connect jdbc:mysql://localhost/oozie --username root --password root --table bixirides_export --export-dir /user/hive/warehouse/impala_out/6* -m 1 --input-fields-terminated-by "|";

По некоторым причинам экспорт sq oop завершается неудачно, как только задача Map достигает 100%. Схема должна соответствовать должным образом, но по некоторым причинам экспорт не удается. 

Error Message:
ERROR tool.ExportTool: Error during export:
Export job failed!

1 Ответ

0 голосов
/ 23 февраля 2020

Я вижу несколько проблем .. в зависимости от вашего qn

  1. начальная и конечная даты имеют тип varchar (10), но размер данных кажется больше этого. 2019-05-05 14: 07: 42

  2. Я вижу разделитель как | но не вижу этого в таблице Hive.

Вы создали таблицу с

ФОРМАТОМ ROW ФОРМАТОВ, РАЗДЕЛЕННЫХ ПОЛЯМИ, ПРЕКРАЩЕННЫМИ '|' ЛИНИИ, ПРЕКРАЩЕННЫЕ '\ n', ХРАНЕННЫМИ КАК ТЕКСТАЙФОМ

...