Перемещение большой и часто обновляемой таблицы MySQL с составным ключом в HDFS - PullRequest
Новая
       33

Перемещение большой и часто обновляемой таблицы MySQL с составным ключом в HDFS

0 голосов
/ 12 марта 2019

У меня есть таблица инвентаризации MySQL, в которой нет идентификатора автоинкремента, но есть составной ключ и дата последнего изменения (ГГГГ-мм-ДД ЧЧ: ММ: СС), и она будет обновляться очень часто. Данные за последние 3 года составляют около 10 миллион записей.

Я хочу переместить эти данные в HDFS с помощью Sqoop или другим способом. Пожалуйста, предложите некоторый подход.

1 Ответ

0 голосов
/ 12 марта 2019

Проверьте этот код sqoop ниже (который я использую в аналогичных задачах) на основе --lastmodified: здесь я хочу предположить, что у вас может быть столбец, похожий на дату, для использования с аргументом --check-column. 

sqoop import \
--connect jdbc:mysql://<server>:3306/db \
--username=your_username \
-P \
--table=your_table \
--append \
--incremental lastmodified \
--check-column creation_date \
--last-value "YYYY-mm-DD HH:MM:SS.x" \
--split-by some_numeric_id_column \
--target-dir /user/dir \
--num-mappers <MAPPER#>
...