Как перенести таблицу MySQL в улей?

Question

У меня есть большая таблица mysql, которую я хотел бы перенести в таблицу Hadoop / Hive. Существуют ли стандартные команды или методы для переноса простой (но большой) таблицы из Mysql в Hive? В таблице хранятся в основном аналитические данные.

Answer 1

Взгляните на: http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive

Answer 2

1. Прежде всего загрузите mysql-connector-java-5.0.8 и поместите jar в папку lib и bin Sqoop

2. Создайтеопределение таблицы в Hive с точными именами и типами полей как в mysql

   sqoop import --verbose --fields-terminated-by ',' --connect jdbc: mysql:// localhost / test - таблица сотрудника --hive-import --warehouse-dir / user / hive / warehouse --fields-terminated-by ',' --split-by id --hive-table employee

test - Имя базы данных

employee - Имя таблицы (присутствует в тесте)

/ user / hive / warehouse - Каталог в HDFS, где должны находиться данныеimport

- разделенный идентификатор - идентификатор может быть первичным ключом таблицы 'employee'

- работник таблицы hive - таблица сотрудников, определение которой присутствует в Hive

Руководство пользователя Sqoop (Одно из лучших руководств по изучению Sqoop)

Answer 3

Apache Sqoop - это инструмент, который решает эту проблему:

Apache Sqoop (TM) - это инструмент, предназначенный для эффективной передачи объемных данных между Apache Hadoop и структурированными хранилищами данных, такими как реляционные базы данных.